Rákosil ei tulnud majanduse juhtimisega toime ning ungarlaste elatustase langes. Tema valitsus muutus järjest ebapopulaarsemaks ning kui Jossif Stalin 1953. aastal suri, asus Mátyás Rákosi asemel peaministri kohale Imre Nagy. Rákosi säilitas siiski positsiooni  Ungari Töörahvapartei peasekretärina ning järgmise kolme aasta jooksul toimus nende kahe mehe vahel äge võimuvõitlus.    Uue riigijuhina tühistas Imre Nagy kontrolli massimeedia üle ning julgustas avalikku arutelu poliitilistel ja majandusreformide teemadel. Tema valitsus lubas suurendada tarbekaupade tootmist ja müüki. Nagy vabastas vanglatest antikommunistid ning rääkis vabade valimiste korraldamisest ning Ungari välja astumisest Varssavi Paktist.    Mátyás Rákosi omakorda dirigeeris  rünnakuid Nagy vastu. 9. märtsil 1955 mõistis Ungari Töörahvapartei Keskkomitee Nagy hukka "parempoolse kallaku" eest. Ungari ajalehed ühinesid rünnakutega ning Nagyt süüdistati ka riigi majandusprobleemides. 18. aprillil vabastas Rahvusassamblee ta ühehäälsest ametist. Jälle kord sai Ungari juhiks Rákosi.    Rákosi võimu õõnestas Nikita Hruštšovi 1956. aasta veebruaris peetud kõne. Hruštšov mõistis hukka Jossif Stalini ja tema Ida-Euroopa järgijate poliitika. Ta väitis samuti, et László Rajki  protsess oli olnud "õigussüsteemi nurisünnitis". 18. juulil 1956 sunniti Rákosi Nőukogude Liidust tulnud korraldustel tagasi astuma. Siiski suutis ta kindlustada oma lähedase sõbra Ernő Gerő nimetamise oma järglaseks.    3. oktoobril 1956 teatas Ungari Töölispartei Keskkomitee oma otsusest, mille kohaselt László Rajki, György Pálffy, Tibor Szőnyi ja András Szalai süüdimõistmine riigireetmises 1949. aastal oli olnud alusetu. Samal ajal teatati ka Imre Nagy taastamisest partei liikmeks.