Kompletoha ang mosunod nga pulong: Si Rifkind unang mibarog alang sa Parlamento, nga wala molampos, sa 1970 diha sa Edinburgh Central nga distrito elektoral. Siya misulod sa Parliamento sa Pebrero 1974 kinatibuk-ang eleksiyon nga nagrepresentar sa Edinburgh Pentlands alang sa Scottish Conservative ug Unionist Party. Sa panahon sa pagpangulo pagpili sa 1975, siya gisuportahan Edward Heath sa unang hugna apan sa diha nga Heath mibiya Rifkind mibotar alang sa Margaret Thatcher. Si Thatcher, sa pagkahimong lider, nagtudlo kang Rifkind ingong front-bench nga tigpamaba sa Oposisyon sa Scottish Affairs. Siya sa ulahi mibiya gikan sa maong posisyon (uban sa Shadow Scottish Secretary, Alick Buchanan-Smith) sa pagprotesta sa desisyon sa Shadow Cabinet sa pagbotar batok sa Balaod sa Gobyerno alang sa usa ka Scottish Assembly. Si Rifkind nangatarongan nga, sanglit, niadtong panahona, ang Conservative Party misuporta sa prinsipyo sa usa ka Scottish Assembly, mas maayo unta kon mopuo sa ikaduhang pagbasa sa Bill o dili mopuo, ug mosulay sa pagpauswag sa Bill. Sa misunod nga
sa referendum sa usa ka Scottish Assembly, si Rifkind mibotar sa pabor, apan mibiya sa iyang suporta sa dihang ang resulta sa referendum nagpakita sa Scotland nga halos managsama nga nabahin sa sugyot.