Nacido en una familia aristocrática prusiana con una larga historia de servicio militar, Choltitz se unió al ejército a una edad temprana y sirvió en el Frente Occidental durante la Primera Guerra Mundial (1914-1918). Se elevó al rango de "Teniente" al final de la guerra y estuvo activo en el período de entreguerras ayudando a Alemania a reconstruir sus fuerzas armadas. En septiembre de 1939, durante la invasión de Polonia al comienzo de la Segunda Guerra Mundial, estaba sirviendo en el Grupo de Ejércitos Sur de Gerd von Rundstedt. En mayo de 1940, Choltitz participó en la Batalla de Rotterdam
, haciendo un aterrizaje aéreo y tomando algunos de los puentes clave de la ciudad.