Rafn syntyi ja varttui Fredrikstadissa, Norjassa, ja aloitti pelaamisen paikallisessa Skogstrand IL -klubilla. 15-vuotiaana hän liittyi Fredrikstad FK:n nuorisokunnalle ja ylennettiin myöhemmin vanhempaan joukkueeseen vuonna 2010. Hän pelasi joukkueessa 136 ottelua ennen siirtymistään Gefleen vapaana agenttina marraskuussa 2015. 2016 Allsvenskanin esi-kauden aikana
Rafn loukkaantui polveen, ja hän menetti koko kauden. Tammikuussa 2017 hän allekirjoitti sopimuksen Lilleströmin kanssa.