Urodzony w arystokratycznej pruskiej rodzinie z długą historią służby wojskowej, Choltitz wstąpił do armii w młodym wieku i służył na froncie zachodnim podczas I wojny światowej (1914-1918). Do końca wojny uzyskał stopień porucznika i był aktywny w okresie międzywojennym pomagając Niemcom w odbudowie sił zbrojnych. We wrześniu 1939 r., podczas inwazji na Polskę na początku II wojny światowej, służył w Grupie Armii Południowej Gerda von Rundstedta. W maju 1940 roku Choltitz uczestniczył w bitwie pod Rotterdamem.
, dokonywanie lądowania powietrznego i przejęcie kilku kluczowych mostów miasta.