Patel erosi pääministerin virastaan 2. lokakuuta 2001 huonon terveyden vuoksi. Syytökset vallan väärinkäytöstä, korruptiosta ja huonosta hallinnoinnista sekä BJP: n paikkojen menetyksestä vaaleissa ja avustustoiminnan huonosta hallinnoinnista vuoden 2001 Bhujin maanjäristyksen jälkimainingeissa
, sai BJP:n kansallisen johdon etsimään uutta ehdokasta pääministerin virkaan. Hänen jälkeensä tuli Narendra Modi. Patel ei kilpaillut vuoden 2002 Gujaratin vaaleissa, mutta hänet valittiin Rajya Sabhaan vastustamatta vuonna 2002.