Escriba una continuación para este párrafo - Rifkind se presentó por primera vez al Parlamento, sin éxito, en 1970 en la circunscripción de Edimburgo Central. Entró en el Parlamento en las elecciones generales de febrero de 1974 representando a Edinburgh Pentlands por el Partido Conservador y Unionista Escocés. Durante las elecciones de liderazgo en 1975, apoyó a Edward Heath en la primera ronda, pero cuando Heath se retiró, Rifkind votó por Margaret Thatcher. Thatcher, al convertirse en líder, nombró a Rifkind portavoz de la oposición en asuntos escoceses. Posteriormente renunció a ese cargo (junto con el Secretario Escocés de la Sombra, Alick Buchanan-Smith) en protesta por la decisión del Gabinete de la Sombra de votar en contra del proyecto de ley del Gobierno para una Asamblea Escocesa. Rifkind argumentó que, en ese momento, el Partido Conservador apoyaba el principio de una Asamblea Escocesa, habría sido preferible votar a favor de la segunda lectura del proyecto de ley o abstenerse y tratar de mejorar el proyecto de ley. En el posterior referéndum sobre una Asamblea escocesa
Rifkind votó a favor, pero retiró su apoyo cuando el resultado del referéndum mostró que Escocia estaba casi igualmente dividida sobre la propuesta.