Direct na de oorlog keerde hij terug naar Palestina. Na de oprichting van de staat Israël vocht hij in de Arabisch-Israëlische Oorlog van 1948, als officier in de veldslagen om Latrun.
Ik weet het. Zijn inlichtingenervaring tijdens de Tweede Wereldoorlog werd gezien als een waardevol bezit en hij werd vervolgens hoofd van de IDF Military Intelligence Branch, een functie waarin hij diende van 1948 tot 1950 en opnieuw van 1959 tot 1962. Van 1950 tot 1954 diende hij als defensieattaché bij de Israëlische ambassade in de Verenigde Staten. Herzog verliet Washington in september 1954. Een ambtenaar van het ministerie van Buitenlandse Zaken had hem meegedeeld dat hij "persona non grata" zou worden. De beslissing om hem uit te zetten was genomen na een FBI onderzoek naar zijn poging om een Jordaanse diplomaat te rekruteren. Hij ging in 1962 met pensioen uit de IDF met de rang van generaal-majoor.