Kun Jochen Rindt allekirjoitti sopimuksen Lotuksen kanssa vuonna 1969, Oliver vaihtoi BRM:hen. Hän joutui kärsimään pettymyksiä kaksi vuotta Bournen joukkueessa, mikä käytännössä tappoi hänen Grand Prix -uransa. Kahden vuoden aikana hän saavutti vain neljä maalipistettä. Hänen ainoat pisteensä olivat kuudes paikka vuoden 1969 Meksikon Grand Prix -kilpailussa ja viides paikka vuoden 1970 Itävallan Grand Prix -kilpailussa.
- Mitä? Vuonna 1970 hän kuitenkin johti suurinta osaa mestaruuskilpailusta estäen Stewartia ja oli vahva kolmas suurin osa Hollantilaisten ja Britannian GP:stä. Huono tulos Itävallan GP: ssä, jonka joukkueen pomo Louis Stanley arveli hänen kuuluvan voittamaan, sai parhaan auton Pedro Rodríguezin, mutta Oliver johti yhä muutamia kierroksia slipstream Italian kisoissa. Stanley kuvaili Oliveria "hyvänä, mutta ei läheskään niin hyväksi kuin hän luuli". Useimmissa muissa kisoissa BRM hajosi. Monet asiantuntijat ja sponsori Yardley olivat yllättyneitä ja pettyneitä, kun Oliver sai potkut BRM:stä. Jackie Stewart arvioi Oliverin erittäin hyväksi GP:ksi ja Can-Am-ajoksi.