Choltitz sa narodil v aristokratickej pruskej rodine s dlhou históriou vojenskej služby, v mladom veku vstúpil do armády a počas prvej svetovej vojny (1914-1918) slúžil na západnom fronte. Do konca vojny získal hodnosť "poručíka" a v medzivojnovom období pomáhal Nemecku obnoviť svoje ozbrojené sily. V septembri 1939, počas invázie do Poľska na začiatku druhej svetovej vojny, slúžil v armádnej skupine Gerd von Rundstedt na juhu. V máji 1940 sa Choltitz zúčastnil bitky o Rotterdam.
, ktoré pristáli a obsadili niektoré z hlavných mostov v meste.