Como outros estadistas da Virgínia na sociedade escravista, ele era um proprietário de escravo que herdou sua plantação conhecida como Montpelier, e possuía centenas deescravos durante sua vida para cultivar tabaco e outras culturas.