Hubungan Pitt dengan Adipati semakin merosot pada awal 1756 ketika ia menuduh bahwa Newcastle sengaja meninggalkan pulau Menorca dengan pertahanan yang buruk sehingga Prancis akan merebutnya, dan Newcastle dapat menggunakan kekalahannya untuk membuktikan bahwa Inggris tidak mampu berperang melawan Prancis dan menuntut perdamaian. Ketika pada bulan Juni 1756 Menorca jatuh
setelah upaya gagal oleh Laksamana Byng untuk meringankannya, tuduhan Pitt memicu kemarahan publik terhadap Newcastle, yang menyebabkan dia diserang oleh gerombolan di Greenwich. Kehilangan Menorca menghancurkan kepercayaan publik di Newcastle, dan memaksanya untuk mengundurkan diri sebagai Perdana Menteri pada bulan November 1756.