Adenaueri poliitikat kritiseeriti üha rohkem nii Saksamaa Sotsiaaldemokraatliku Partei kui ka avalikkuse poolt, samuti toodi esile tema kõrget iga. Eriti Spiegeli afäär (1962) kahandas Adenaueri populaarsust ja autoriteeti. 1961. aasta Bundestagi valimistega kaotas Kristlik-Demokraatlik Liit absoluutse enamuse ning koalitsiooniläbirääkimistel Vaba Saksa Partega oli Adenauer sunnitud lubama oma ametiaega piirama. Tema oma partei soovis kantsleriks populaarset Ludwig Erhardit. Nõnda astuski Adenauer 15. oktoobril 1963 tagasi, kuid jäi poliitiliselt aktiivseks.