Hij vertrok naar Portugal na de aardbeving van Lissabon in 1755.
, reisde op de "Hanover", die werd gevangen genomen door Franse kapers. Hij werd zes dagen in Brest opgesloten voordat hij naar een andere gevangenis aan de Franse kust werd overgeplaatst. Later werd hij uitgewisseld voor een Franse officier die door de Britten werd vastgehouden, en hij reisde snel naar de Commissioners of Sick and Wounded Seamen in Londen om hulp te zoeken namens zijn medegevangenen. Het wordt algemeen aangenomen dat deze persoonlijke ervaring Howard's interesse in gevangenissen heeft opgewekt.