Egy arisztokratikus porosz családban született, hosszú katonai szolgálatot végzett. Choltitz fiatal korában lépett be a hadseregbe, és az első világháborúban (1914-1918) a nyugati fronton szolgált. A háború végére "hadnagy" rangra emelkedett, és aktív volt a háborúközi időszakban, segítve Németországot fegyveres erőinek újjáépítésében. 1939 szeptemberében, a II. világháború kezdetén Lengyelország inváziója idején Gerd von Rundstedt déli hadseregcsoportjában szolgált. 1940 májusában Choltitz részt vett a rotterdami csatában.
, egy légi leszállás és elfoglalva a város néhány kulcsfontosságú hídját.