De algemene verkiezingen van 2002 werden gekenmerkt door veranderingen in het politieke klimaat. De rechtse populistische politieke commentator Pim Fortuyn ging de politiek in. Hij had een anti-establishment boodschap, gecombineerd met een oproep voor beperkingen op immigratie. Hoewel zijn kritiek gericht was op het tweede kabinet van Kok, was Rosenmöller een van de weinige politici die enige weerstand tegen zijn boodschap kon opwekken. Dagen voor de verkiezingen werd Fortuyn vermoord.
Ik weet het. Abre Harwijn, GroenLinks parlementslid en kandidaat is ook overleden. Voor en na de verkiezingen werden Rosenmöller, zijn vrouw en zijn kinderen ernstig bedreigd. Deze gebeurtenissen veroorzaakten aanzienlijke stress voor Rosenmöller. GroenLinks verloor een zetel bij de verkiezingen, hoewel het meer stemmen had gekregen dan bij de verkiezingen van 1998. Voor de algemene verkiezingen van 2003 verliet Rosenmöller het parlement, met als belangrijkste reden de voortdurende bedreigingen tegen zijn leven en die van zijn familie. Hij werd vervangen als voorzitter van de parlementaire partij en topkandidaat door Femke Halsema. Ze kon geen tien zetels behouden en verloor er twee.