"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
нужно смело ответить: «Да просто для удовольствия. Извини, что иду без тебя.