Kempfas įstojo į Vokietijos imperijos armiją 1905 m. Po Pirmojo pasaulinio karo jis tarnavo "Reichswehr" ir vėliau "Wehrmacht". 1937 m. spalio mėn. Kempfas perėmė vadovybę naujai suformuotos 4-osios pancerinės brigados; 1939 m. Sausio mėn. Jis buvo paaukštintas į "generalmajorą". Antrojo pasaulinio karo pradžioje Europoje jis dalyvavo invazijoje į Lenkiją kaip Kempf tankinės divizijos, kuri taip pat buvo žinoma kaip "Panzerverband Ostpreußen" (Panzer Group East Prussia) 3-osios armijos, vadovaujamos Georg von Küchler, vadas. Kaip divizijos vadas, jis gavo Fort Zakroczym kapitulaciją, po kurios įvyko Žudynė Zakroczym, Modlino mūšio pabaigoje.
- Taip. Po Lenkijos kampanijos divizija grįžo į Rytų Prūsiją, o 1939 m. spalio 18 d. Kempfas buvo paskirtas 1-osios lengvos divizijos, pervadintos į 6-ąją tankinę diviziją, vadu.