"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"Bem, só por diversão. Sinto muito estar me divertindo sem você," é o que você deveria dizer. "Vou continuar de qualquer forma."