V roce 1314 byl Château Gaillard vězením Margarety a Blanchy z Burgundska, které se později staly královnami Francie; byly odsouzeny za cizoložství v aféře "Tour de Nesle" a poté, co jim oholili hlavy, byly zamčené v pevnosti, kde zůstaly i během jejich vládnutí. Po porážce Skotů v bitvě u Halidon Hill v roce 1333 během druhé války za skotskou nezávislost
, dítě-král David II a některé z jeho dvora byli nuceni uprchnout do Francie pro bezpečí. V té době jižní Skotsko okupovaly síly anglického krále Eduarda III. Davidovi, kterému bylo tehdy devět let, a jeho nevěstě Joaně z Toweru, dvanáctileté dceři Eduarda II., bylo uděleno užívání Château Gaillard Filipem VI. Zůstal jejich sídlem až do návratu Davida do Skotska v roce 1341. Po svém návratu David dlouho nezůstal v anglických rukou; byl zajat po bitvě u Nevilleova kříže v roce 1346 a vydržel jedenáct let v zajetí v Toweru v Londýně.