Po porážce konzervativců ve všeobecných volbách v únoru 1974 se stal stínovým ministrem zahraničí pro Skotsko pod Edwardem Heathem. Když Margaret Thatcherová nastoupila na Heathovu místo jako konzervativní vůdkyně, "The Glasgow Herald" informoval o spekulacích, že Buchanan-Smithová patří k skupině "top Toryů", kteří by mohli odmítnout pod ní sloužit. Nakonec zůstal na svém místě pod Thatcherovou, ale rezignoval v roce 1976, spolu se svým mladším stínovým ministrem Malcolmem Rifkindem, když změnila politiku Konzervativní strany, aby se postavila proti skotské decentralizaci. Následně vedl konzervativní příspěvek k kampaně "Ano" v
Referendum o převodu pravomocí ve Skotsku.