Choltitz gimė aristokratinėje Prūsijos šeimoje, turinčioje ilgą karinės tarnybos istoriją. Jis įstojo į kariuomenę jaunas ir tarnavo Vakarų fronte Pirmojo pasaulinio karo metu (1914-1918). Iki karo pabaigos jis pasiekė leitenanto laipsnį ir tarpukario laikotarpiu aktyviai padėjo Vokietijai atkurti savo ginkluotąsias pajėgas. 1939 m. rugsėjį, kai buvo įsiveržta į Lenkiją Antrojo pasaulinio karo pradžioje, jis tarnavo Gerd von Rundstedto armijos Pietų grupėje. 1940 m. gegužę Choltitz dalyvavo Roterdamo mūšyje.
, oro nusileidimo ir užgrobti kai kurių miesto pagrindinių tiltų.