"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"Bem, é só pelo divertimento. Desculpem se me divirto sem vocês" é o que devemos dizer. "Eu vou em frente, seja como for."