Choltitz werd geboren in een aristocratische Pruisische familie met een lange geschiedenis van militaire dienst. Hij ging op jonge leeftijd het leger in en diende tijdens de Eerste Wereldoorlog (1914-1918) aan het Westelijk Front. Hij bereikte de rang van "luitenant" aan het einde van de oorlog en was actief in de tussenoorlogse periode om Duitsland te helpen zijn strijdkrachten te herbouwen. In september 1939, tijdens de invasie van Polen aan het begin van de Tweede Wereldoorlog, diende hij in Gerd von Rundstedts Legergroep Zuid. In mei 1940 nam Choltitz deel aan de Slag bij Rotterdam.
Een landing uit de lucht en het innemen van enkele van de belangrijkste bruggen van de stad.