Kempf vstoupil do císařské německé armády v roce 1905; po první světové válce sloužil v "Reichswehr" a později v "Wehrmacht". V říjnu 1937 Kempf převzal velení nově vytvořené 4. tankové brigády; v lednu 1939 byl povýšen na "generálmajora". Na začátku druhé světové války v Evropě se zúčastnil invaze do Polska jako velitel obrněné divize Kempf, která byla také známá jako "Panzerverband Ostpreußen" (Panzer Group East Prussia) 3. armády pod Georgem von Küchlerem. Jako velitel divize obdržel kapitulaci pevnosti Zakroczym, po níž následoval masakr v Zakroczym, na závěr bitvy u Modlina.
- Ne, ne. Divize se vrátila do Východního Pruska na konci polského tažení a Kempf byl jmenován velitelem 1. lehké divize, přejmenované na 6. tankovou divizi, dne 18. října 1939.