Completa a seguinte frase: Rifkind candidatou por primeira vez ao Parlamento, sen éxito, en 1970 na circunscrición electoral de Edimburgo Central. Entrou no Parlamento nas eleccións xerais de febreiro de 1974 representando a Edimburgo Pentlands para o Partido Conservador e Unionista Escocés. Durante as eleccións de liderado en 1975, apoiou a Edward Heath na primeira rolda, pero cando Heath se retirou, Rifkind votou por Margaret Thatcher. Thatcher, ao converterse en líder, nomeou a Rifkind como portavoz da oposición en asuntos escoceses. Posteriormente renunciou a ese cargo (xunto co Secretario Escocés da Sombra, Alick Buchanan-Smith) en protesta pola decisión do Gabinete da Sombra de votar en contra do Proxecto de Lei do Goberno para unha Asemblea Escocesa. Rifkind argumentou que, como, naquel momento, o Partido Conservador apoiaba o principio dunha Asemblea Escocesa, sería preferible votar a favor da segunda lectura do proxecto de lei ou absterse e tratar de mellorar o proxecto de lei. Nos anos seguintes
Rifkind votou a favor, pero retirou o seu apoio cando o resultado do referendo mostrou Escocia case igualmente dividido sobre a proposta.