"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"Dla zabawy. Przykro mi, że bawię się dobrze bez ciebie". Powiedzcie: "I tak to zrobię".