Con Jochen Rindt asinando con Lotus para 1969, Oliver cambiou a BRM. Sufriu dous anos decepcionantes no equipo Bourne, o que acabaría coa súa carreira en Grandes Premios. En dous anos, recolleu só catro finais, sendo os seus únicos puntos o sexto lugar no Gran Premio de México de 1969 e o quinto no
Gran Premio de Austria de 1970. Con todo, en 1970, liderou gran parte da Carreira dos Campións mantendo a Stewart e foi un forte terceiro para a maioría do GP holandés e británico. O pobre resultado no GP de Austria, que o xefe do equipo, Louis Stanley, pensou que debería ter gañado, viu o mellor coche ir a Pedro Rodríguez a partir de entón, pero Oliver aínda liderou algunhas voltas na carreira italiana. Stanley describiu a Oliver como "boa, pero non tan boa como pensaba". A maioría das súas outras carreiras viron o BRM romperse. A maioría dos expertos e o patrocinador, Yardley, quedaron sorprendidos e decepcionados despois de que Oliver fose despedido por BRM. Jackie Stewart, considerou a Oliver un bo piloto de GP e Can-Am.