La patro de Browning estis bone pagita komizo por la Banko de Anglio, gajnante ĉirkaŭ 150 £ jare. La avo patrinflanka de Browning estis sklavo en Sankta Kitts, Okcidentaj Indioj, sed la patro de Browning estis aboliciisto. La patro de Browning estis sendita al Jamajko por labori pri sukerplantejo, sed pro sklavo, kiun li ne havis, li devis ekloĝi tie.
Dek ses