Kempf ingħaqad mal-Armata Imperjali Ġermaniża fl-1905; wara l-Ewwel Gwerra Dinjija, huwa serva fir-"Reichswehr" u aktar tard fil-"Wehrmacht". F'Ottubru tal-1937 Kempf ħa l-kmand tal-4 Brigata Panzer li kienet għadha kemm twaqqfet; f'Jannar tal-1939 ġie promoss "Generalmajor". Fil-bidu tat-Tieni Gwerra Dinjija fl-Ewropa, huwa ħa sehem fl-invażjoni tal-Polonja bħala kmandant tad-Diviżjoni Panzer Kempf, li kienet magħrufa wkoll bħala l-"Panzerverband Ostpreußen" (Panzer Group East Prussia) tat-3 Armata taħt Georg von Küchler. Bħala kmandant tad-diviżjoni, huwa rċieva l-kapitulazzjoni ta 'Fort Zakroczym, li kienet segwita minn Massakru f'Zakroczym, fil-konklużjoni tal-Battalja ta' Modlin
. ħsieb Id-diviżjoni rritornat lejn il-Prussja tal-Lvant fi tmiem il-kampanja tal-Polonja, u Kempf ġie maħtur kmandant tal-ewwel Diviżjoni Ħfief, mibdula fis-sitt Diviżjoni Panzer, fit-18 ta 'Ottubru 1939.