De voortdurende achteruitgang van de confederatie van de Cinque Ports kan worden toegeschreven aan een verscheidenheid van verschillende omstandigheden. Terwijl ze de invallen van de Denen en de Fransen overleefden, de talrijke vernietigende impact van plagen, en de politiek van de 13e-eeuwse Plantagenets en de daaropvolgende Oorlog van de Rozen
, natuurlijke oorzaken zoals het verzilten van havens en de terugtrekking van de zee hebben veel bijgedragen aan het ondermijnen ervan. De opkomst van Southampton en de behoefte aan grotere schepen dan de 21 man bemanning van de havens konden vervoeren, droegen ook bij aan de achteruitgang.