Kempf 1905-ben csatlakozott a német császári hadsereghez. Az I. világháborút követően a "Reichswehrben" és később a "Wehrmachtban" szolgált. 1937 októberében Kempf átvette az újonnan létrehozott 4. páncélos brigád parancsnokságát; 1939 januárjában előléptették "nagyvezérnek". A második világháború kezdetén részt vett a lengyelországi invázióban a Kempf páncélos hadosztály parancsnokaként, amelyet Georg von Küchler 3. hadseregének "Panzerverband Ostpreußen" (Kelet-Porosz páncélos csoport) néven is ismertek. Mint hadosztályparancsnok, megkapta a Fort Zakroczym kapitulációját, amelyet a Zakroczym-i mészárlás követett, a háború végén.
A Modlin-i csata. A lengyel hadjárat végén a hadosztály visszatért Kelet-Poroszországba, és Kempf-et az 1. könnyű hadosztály parancsnokává nevezték ki, amelyet 1939. október 18-án átneveztek a 6. páncélos hadosztályra.