Cu Jochen Rindt semnând pentru Lotus pentru 1969, Oliver a trecut la BRM. A trebuit să sufere doi ani dezamăgitori la echipa Bourne, care i-ar fi ucis efectiv cariera la Grand Prix. În doi ani, el ar aduna doar patru finalizări, cu singurele sale scoruri de puncte fiind locul șase în Marele Premiu al Mexicului din 1969 și al cincilea în Marele Premiu al Austriei din 1970
- Da, domnule. Cu toate acestea, în 1970, el a condus o mare parte din Cursa Campionilor ținând Stewart și a fost un al treilea puternic pentru majoritatea GP-urilor olandeze și britanice. Rezultatul slab în GP Austria, pe care șeful echipei, Louis Stanley, a crezut că ar fi trebuit să câștige, a văzut cea mai bună mașină mergând la Pedro Rodríguez de atunci încolo, dar Oliver a condus încă câteva ture la cursa italiană. Stanley l-a descris pe Oliver ca fiind "bun, dar nu la fel de bun pe cât credea". Majoritatea celorlalte curse ale sale au văzut BRM-ul distrus. Majoritatea experţilor şi sponsorii, Yardley, au fost surprinşi şi dezamăgiţi după ce Oliver a fost concediat de BRM. Jackie Stewart, judecat Oliver un foarte bun GP și Can-Am pilot.