Sawisé Proklamasi kamardikan Indonésia, Yani mlebu dadi wadya lan mèlu berjuang nglawan panjajah Walanda. Yani ngadegaké wadyabala mirunggan "Banthèng Raiders" kanggo nglawan pambrontak Darul Islam ing Pulo Jawa. Sawisé iku, Yani dipindhah menyang Markas Angkatan Dharat, lan banjur mlebu sekolah ing "Command and General staff College", Fort Leavenworth, Texas, Amérika Sarékat. Nalika mulih ing sasi Agustus 1958, Yani banjur mimpin "Operasi 17 Agustus" nglawan pembrontak PRRI ing Sumatra Barat. Pasukané ditugasi kanggo ngrebut kutha Padang lan Bukittinggi, lan suksès mimpin operasi iki Yani banjur diangkat dadi Asisten Kasad ing tanggal 1 September 1962, lan sabanjuré dadi Kasad ing tanggal 13 November 1963, kang otomatis dadi anggota kabinèt nggantèkaké Jendral Nasution.