V roce 1954 byl Oliva pověřen jako podporučík v kubánské armádě po absolvování kubánské vojenské akademie, "kadetské školy". Poté, co v roce 1955 absolvoval s vyznamenáním dělostřeleckou akademii, byl jmenován profesorem dělostřelectva na kadetské škole až do roku 1958. V letech 1958 až 1959 byl studentem, který také absolvoval s vyznamenáním, a instruktorem v karibské škole americké armády v zóně kanálu v Panamě.
- Ne, ne. Koncem roku 1959, poté, co Castro svrhla generála Batistu, byla kubánská armáda "vyčištěna", ale Oliva byl jmenován generálním inspektorem INRA. V květnu 1960 byl jedním ze skupiny bývalých kubánských důstojníků, kteří plánovali kampaň proti Castroovu režimu. Všichni byli absolventi kubánské vojenské akademie. Na začátku srpna 1960 opustil armádu a odletěl do Miami. Dne 29. srpna 1960 byli Oliva a asi 40 mladých kubánských uprchlíků, rekrutovaných CIA, přepraveny letadlem CIA C-54 do San José v Guatemale, aby absolvovali partyzánský výcvik, který se později stal konvenčním.