Hann byggđi Van Dorn húsiđ í Port Gibson, sem er nú skráð á þjóðskrá sögulegra stađa. Hann reisti líka annað hús í Grand Gulf, 16 kílómetra frá Port Gibson. Hún var eyðilögð í Grand Gulf-baráttu.
árið 1863 í bandarísku borgarastyrjöldinni; það stóð þar sem Grand Gulf Military State Park stendur nú. Auk þess átti hann plöntun við Yazoo-á og Afríkuþræla.