8. veebruaril 1942. aastal suri tolleaegne Relvastuse Minister Fritz Todt lennuõnnetuses. Õnnetus juhtus kohe pärast seda, kui tema lennuk tõusis õhku Hitleri ida peakorterist Rastenburgist. Speer, kes oli just eelmisel õhtul  saabunud Rastenburgi, oli vastu võtnud Todt'i pakkumise koos temaga Berliini lennata, kuid tühistas oma osaluse vaid mõned tunnid enne lennuki õhkutõusmist (Speer hiljem kirjeldas oma mälestustes, et tühistamine oli põhjustatud reisiväsimusest ning pikast hilis-öisest kohtumisest Hitleriga). Mõne aja pärast samal päeval määras Hitler Speer'i Todt'i pärijaks kõikidel tema ametipostidel.