Następnym statkiem Duffa był 50-tonowy, do którego dołączył w 1755 roku. Spędził kilka lat na rejsach, niezależnie lub jako część głównej floty, a w 1758 roku był częścią eskadry komodora Richarda Howe'a broniąc ekspedycji przeciwko St Malo,
Cherbourg i St Cas. W 1759 roku został starszym oficerem małej eskadry stacjonującej u wybrzeży Bretanii, obserwując francuską flotę w Morbihan, podczas gdy flota pod dowództwem Edwarda Hawke'a zablokowała Brest we Francji. Podczas stacji kotwicy w zatoce Quiberon w dniu 20 listopada jego zwiadowcy zgłosili dużą francuską flotę na południe od Belle Île. Duff pospieszył ze swoją eskadrą, składającą się z czterech okrętów o pojemności 50 dział i czterech fregat, na morze, podczas gdy Francuzi ich ścigali. Zanim zdołano ich złapać, główna flota pod dowództwem Hawke'a zaatakowała Francuzów, pokonując ich w decydującej bitwie pod zatoką Quiberon.