"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"그냥 즐거워서 하는거야,  재밌어서 하는 거야. 미안해, 나만 재밌어서. 내가 좀 먼저 할께" 라고 얘기를 할 수 있는 사람이 되야 된다는 겁니다.