Hann hélt svo til Portúgal eftir jarðskjálftann í Lissabon 1755.
, á "Hanover", sem var rænt af frönskum sjóræningjum. Hann sat í fangelsi í Brest í sex daga áður en hann var fluttur í annað fangelsi á frönsku ströndinni. Seinna var hann skipt út fyrir franska yfirmann sem Bretar héldu í haldi og fór hann fljótt til Commissioners of Sick and Wounded Seamen í London til að leita aðstoðar fyrir hönd annarra fanga. Það er almennt talið að þessi persónulega reynsla hafi vakið áhuga Howard á fangelsum.