Hij bouwde het Van Dorn Huis in Port Gibson, nu opgenomen in het National Register of Historic Places. Hij bouwde ook nog een huis in Grand Gulf, 16 kilometer van Port Gibson. Het werd vernietigd tijdens de Slag van Grand Gulf.
in 1863 tijdens de Amerikaanse Burgeroorlog; het stond waar het Grand Gulf Military State Park nu staat. Bovendien bezat hij een plantage aan de Yazoo-rivier en Afrikaanse slaven.