"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"ובכן, סתם בשביל הכיף. מצטער שאני נהנה בלעדייך." זה מה שצריך להגיד. "אני אלך לעשות את זה בכל מקרה."