Írj folytatást erre a bekezdésre - Rifkind először 1970-ben indult a Parlamentbe, sikertelenül, az Edinburgh Central választókerületben. A 1974. februári általános választásokon a skót konzervatív és unionista párt Edinburgh Pentlands képviselőjeként lépett be a parlamentbe. Az 1975-ös vezetői választásokon az első körben támogatta Edward Heath-et, de amikor Heath visszavonult, Rifkind Margaret Thatcherre szavazott. Thatcher, miután vezető lett, Rifkindot kinevezte az ellenzéki szóvivőnek a skót ügyekben. Később lemondott erről a pozícióról (az árnyék skót titkárral, Alick Buchanan-Smith-szel együtt) tiltakozásul az árnyék-minisztertanács azon döntéséért, hogy a skót parlamentről szóló kormányzati törvényjavaslat ellen szavazzon. Rifkind azzal érvelt, hogy mivel a Konzervatív Párt abban az időben támogatta a skót közgyűlés elvét, jobb lett volna, ha a törvényjavaslat második olvasatára szavaznak, vagy tartózkodnak, és megpróbálják javítani a törvényjavaslatot. A későbbi skót népszavazáson
Rifkind a javaslat mellett szavazott, de visszavonta a támogatását, amikor a népszavazás eredményei azt mutatták, hogy Skócia szinte egyenlően megosztott a javaslaton.