La relació de Pitt amb el duc es va deteriorar encara més a principis de 1756 quan va al·legar que Newcastle estava deixant deliberadament l'illa de Menorca mal defensada perquè els francesos la capturessin, i Newcastle podria utilitzar la seva pèrdua per demostrar que Gran Bretanya no era capaç de lluitar en una guerra contra França i demanar la pau. Quan el juny de 1756 Menorca va caure
Després d'un intent fallit de l'Almirall Byng per alleujar-lo, les acusacions de Pitt van alimentar la ira pública contra Newcastle, i el van portar a ser atacat per una multitud a Greenwich. La pèrdua de Menorca va trencar la fe pública a Newcastle, i el va obligar a dimitir com a primer ministre el novembre de 1756.