Með Jochen Rindt sem skrifaði undir hjá Lotus fyrir 1969, skipti Oliver yfir í BRM. Hann átti eftir að þola vonbrigði í tvö ár hjá Bourne liði, sem myndi í raun drepa Grand Prix feril hans. Á tveimur árum, myndi hann safna aðeins fjórum endingu, með aðeins stig hans skora er sjötta sæti í 1969 Mexíkó Grand Prix, og fimmta í 1970 Austurríkis Grand Prix
Ég veit ūađ ekki. En árið 1970 leiddi hann stóran hluta Race of Champions og var sterkur þriðji í flestum hollensku og bresku GP. Slæmt úrslit í Austurríkismótaröðinni sem liðsstjóri Louis Stanley hélt að hann ætti að hafa unnið, sá besta bílinn fara til Pedro Rodríguez frá því, en Oliver leiddi enn nokkrar umferðir á ítölsku keppninni. Stanley lýsti Oliver sem "góðan en ekki eins góðan og hann hélt". Flestir aðrir keppnir hans sá BRM brjóta niður. Flestir sérfræðingar og styrktaraðili, Yardley, voru undrandi og vonsviknir eftir að Oliver var rekinn af BRM. Jackie Stewart, taldi Oliver mjög góðan GP og Can-Am bílstjķra.