Napisz kontynuację tego paragrafu - Rifkind po raz pierwszy kandydował do Parlamentu, bezskutecznie, w 1970 roku w okręgu wyborczym Edinburgh Central. Wstąpił do Parlamentu w wyborach parlamentarnych w lutym 1974 roku, reprezentując Edinburgh Pentlands dla Szkockiej Partii Konserwatywnej i Unijnej. Podczas wyborów do przywództwa w 1975 roku poparł Edwarda Heatha w pierwszej turze, ale gdy Heath wycofał się, Rifkind głosował na Margaret Thatcher. Thatcher, stając się przywódcą, mianował Rifkind rzecznikiem opozycji w sprawach szkockich. Następnie zrezygnował z tego stanowiska (wraz z Sekretarzem Szkockim Cienia, Alickem Buchanan-Smithem) w proteście przeciwko decyzji Gabinetu Cienia o głosowaniu przeciwko Rządowej Ustawie o Zgromadzeniu Szkockim. Rifkind twierdził, że ponieważ w tym czasie Partia Konserwatywna popierała zasadę utworzenia Zgromadzenia Szkockiego, byłoby lepiej głosować za drugim czytaniem ustawy lub wstrzymać się od głosu i spróbować poprawić ustawę. W następnym referendum o zgromadzeniu szkockim
, Rifkind głosował za, ale wycofał swoje poparcie, gdy wynik referendum wykazał, że Szkocja jest prawie równo podzielona nad propozycją.