Když Wilson v březnu 1976 náhle oznámil svůj odchod do důchodu, Callaghan porazil pět dalších kandidátů, aby byl zvolen vůdcem labouristické strany; 5. dubna 1976 byl jmenován premiérem. Navzdory získání úzké většiny v Dolní sněmovně ve volbách v roce 1974 Labour Party tuto většinu ztratil v době, kdy se Callaghan stal premiérem, a několik poražených a dezertovaných voleb v jeho prvních měsících přinutilo Callaghana uzavřít dohodu o důvěře a dodávkách s Liberální stranou. Zatímco se to zpočátku ukázalo jako stabilní, v důsledku významných pracovních sporů a rozsáhlých stávek v "zimě nespokojenosti" v letech 1978-1979 a porážky referenda o převodu pravomocí pro Skotsko
, vedl k menším stranám, které se připojily k konzervativcům, aby 28. března 1979 předložily Callaghanovi hlas o nedůvěře. Ačkoli zůstal osobně populární v průzkumech veřejného mínění, Callaghan vedl labouristy k porážce ve volbách v roce 1979 a byl nahrazen Margaret Thatcherovou.