Oliver został podpisany przez Piratów jako amator. Został awansowany do Major League 14 września 1968 roku, w dniu, w którym zmarł jego ojciec, Al Oliver Sr. W tym sezonie wystąpił w czterech meczach. W swoim oficjalnym sezonie jako nowicjusz, Oliver pobił.285 z 17 biegami w domu i przejechał 70 biegów, zajmując drugie miejsce w głosowaniu na Nowicjusza Roku w National League. W następnym sezonie, 1970, Oliver uderzył.270 i był piąty w NL z siedmioma ofiarnymi muchami. Zawiódł również drugie miejsce w lidze z 14 uderzeniami (w poprzednim roku został uderzony 12 razy, czwarty w lidze). Pirates zdobyli tytuł National League East w swojej pierwszej podróży do postseason od wygrania World Series w 1960 roku. Jednak przegrali z Cincinnati Reds w
Mistrzostwa Ligi Narodowej w 1970 roku.