在1976年3月威爾遜突然宣布退休時, 卡拉漢擊敗其他五位候選人當選為勞工黨領導人; 他於1976年4月5日被任命為總理. 儘管在1974年的選舉中在下院獲得了微弱的多數, 但在卡拉漢成為總理之前, 工黨已經失去了這個多數, 在他的早期幾個月內, 數次的補選敗敗和叛逃迫使卡拉漢與自由黨達成了信任和供應協議. 儘管這起事件最初顯得穩定, 但在1978年至1979年"不滿之冬"期間發生的重大勞動爭議和大規模罷工,
導致一些小黨加入保守黨, 在1979年3月28日對卡拉漢提出不信任. 卡拉漢在1979年的選舉中帶領工黨敗選, 接著被撒切爾取代.