Okamžite po vojne sa vrátil do Palestíny. Po založení štátu Izrael bojoval v arabsko-izraelskej vojne v roku 1948 ako dôstojník v bitkách o Latrun.
- Áno. Jeho skúsenosť v oblasti spravodajstva počas druhej svetovej vojny bola považovaná za cenný majetok a následne sa stal šéfom vojenskej spravodajskej pobočky IDF, v ktorej slúžil od roku 1948 do roku 1950 a opäť od roku 1959 do roku 1962. V rokoch 1950 až 1954 pôsobil ako atašé obrany na izraelskom veľvyslanectve v Spojených štátoch. Herzog opustil Washington v septembri 1954. Úradník ministerstva zahraničných vecí ho informoval, že bude vyhlásený za "persona non grata". Rozhodnutie o jeho vyhostení bolo prijaté po vyšetrovaní FBI o jeho pokuse o nábor jordánskeho diplomata. Z IDF odišiel do dôchodku v roku 1962 s hodnosťou generála majora.