Píše se pokračování tohoto odstavce - Rifkind se poprvé neúspěšně ucházel o poslání do Parlamentu v roce 1970 v Edinburghském ústředním volebním obvodu. Do parlamentu vstoupil ve všeobecných volbách v únoru 1974, kde zastupoval Edinburgh Pentlands pro skotskou konzervativní a unionistickou stranu. Během voleb v roce 1975 podporoval Edwarda Heatha v prvním kole, ale když Heath odstoupil, Rifkind volil Margaret Thatcherovou. Thatcherová, když se stala vůdkyní, jmenovala Rifkinda jako předního mluvčí opozice pro skotské záležitosti. Následně odstoupil z této pozice (spolu se stínovým skotským tajemníkem Alickem Buchanan-Smithem) v protestu proti rozhodnutí stínové vlády hlasovat proti vládnímu návrhu zákona o skotském shromáždění. Rifkind tvrdil, že jelikož v té době konzervativní strana podporovala princip skotského shromáždění, bylo by lepší hlasovat buď pro druhé čtení zákona, nebo se zdržet hlasování a pokusit se o zlepšení zákona. V následujícím referendu o skotském shromáždění
, Rifkind hlasoval pro, ale stáhl svou podporu, když výsledek referenda ukázal, že Skotsko je téměř rovnoměrně rozděleno ohledně návrhu.