"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"Naja, einfach zum Spaß. Sorry, dass ich ohne dich Spaß habe", das sollten Sie sagen. "Ich werde einfach weitermachen und es trotzdem tun."