"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"Solo per il divertimento. Mi spiace divertirmi senza di te", è quello che dovreste dire. "Andrò avanti e lo farò lo stesso."