Duff's volgende schip was de 50-gun, waar hij in 1755 bij kwam. Hij bracht enkele jaren door met cruisen, hetzij zelfstandig of als onderdeel van de hoofdvloot, en in 1758 maakte hij deel uit van het eskader van Commodore Richard Howe dat de expedities verdedigde tegen St Malo, Cherbourg
en St. Cas. Hij werd senior officier van een klein squadron gestationeerd voor Bretagne in 1759, die de Franse vloot in Morbihan in de gaten hield, terwijl een vloot onder Edward Hawke Brest, Frankrijk, blokkeerde. Terwijl hij op 20 november in Quiberon Bay aan de anker stond, meldden zijn verkenners een grote Franse vloot ten zuiden van Belle Île. Duff haastte zijn squadron, bestaande uit vier 50-kanonschepen en vier fregatten, naar zee terwijl de Fransen hen achtervolgden. Voordat ze gevangen konden worden, kwam de belangrijkste vloot onder leiding van Hawke en overrompelde de Fransen, die ze versloegen in de beslissende Slag bij Quiberon Bay.