Ikteb kompitu għal dan il-paragrafu - Rifkind għall-ewwel darba kien kandidat għall-Parlament, mingħajr suċċess, fl-1970 fil-kwartieri elettorali ta' Edinburgh Central. Huwa daħal fil-Parlament fl-elezzjoni ġenerali ta 'Frar 1974 li tirrappreżenta Edinburgh Pentlands għall-Partit Konservattiv u Unjonista Skoċċiż. Matul l-elezzjoni tal-mexxejja fl-1975, huwa appoġġa lil Edward Heath fl-ewwel rawnd iżda meta Heath irtira, Rifkind ivvota għal Margaret Thatcher. Thatcher, meta sar mexxej, ħatar lil Rifkind bħala l-kelliem ewlieni tal-Oppożizzjoni għall-Affarijiet Skoċċiżi. Sussegwentement irriżenja minn dik il-pożizzjoni (flimkien mas-Segretarju tal-Iskotlandiż fl-Ombra, Alick Buchanan-Smith) bi protesta għad-deċiżjoni tal-Kabinett tal-Ombra li jivvota kontra l-Abbozz tal-Gvern għal Assemblea Skoċċiża. Rifkind sostna li, peress li dak iż-żmien, il-Partit Konservattiv appoġġa l-prinċipju ta' Assemblea Skoċċiża, kien ikun preferibbli jew li jivvota għat-Tieni Qari tal-Abbozz jew li jastjeni, u jipprova jtejjeb il-Abbozz. Fil-referendum sussegwenti dwar Assemblea Skoċċiża
, Rifkind ivvota favur, iżda rtira l-appoġġ tiegħu meta r-riżultat tar-referendum wera li l-Iskozja kienet maqsuma kważi bl-istess mod fuq il-proposta.