Kempf wstąpił do niemieckiej armii cesarskiej w 1905 roku. Po I wojnie światowej służył w "Reichswehr", a później w "Wehrmachcie". W październiku 1937 roku Kempf objął dowództwo nad nowo utworzoną 4. brygadą pancerną; w styczniu 1939 roku został awansowany na generała. Na początku II wojny światowej w Europie brał udział w inwazji na Polskę jako dowódca dywizji pancernej Kempf, która była również znana jako "Panzerverband Ostpreußen" (Panzer Group East Prussia) 3. Armii pod dowództwem Georga von Küchlera. Jako dowódca dywizji otrzymał kapitulację Fortu Zakroczym, po której nastąpiła masakra w Zakroczym, na zakończenie bitwy pod Modlinem
- Co? Dywizja powróciła do Prus Wschodnich po zakończeniu kampanii polskiej, a Kempf został mianowany dowódcą 1. Dywizji Lekkiej, przemianowanej na 6. Dywizję Pancerną, w dniu 18 października 1939 r.