Ka kammala wannan magana: Nan da nan bayan yaƙin, ya koma Falasɗinu. Bayan kafa Jihar Isra'ila, ya yi yaƙi a cikin Yaƙin Larabawa da Isra'ila na 1948, yana aiki a matsayin jami'i a rundunar sojin Isra'ila.
Yaƙe-yaƙe don Latrun. Kwarewar sa ta leken asiri a lokacin Yaƙin Duniya na II an gan shi a matsayin kadara mai mahimmanci, kuma daga baya ya zama shugaban reshen leken asirin sojoji na IDF, matsayin da ya yi aiki daga 1948 zuwa 1950 kuma daga 1959 zuwa 1962. Daga 1950 zuwa 1954, ya yi aiki a matsayin mai ba da kariya a Ofishin Jakadancin Isra'ila a Amurka. Herzog ya bar Washington a watan Satumbar 1954. Wani jami'in Ma'aikatar Harkokin Waje ya sanar da shi cewa yana gab da zama "mutum ba a so". An yanke shawarar korar shi ne bayan binciken FBI kan kokarin da ya yi na daukar jami'in diflomasiyyar Jordan. Ya yi ritaya daga IDF a 1962 tare da mukamin Manjo-janar.