As a boy, Joseph began to work in his stepfather's business, handling goods on a flatboat that transported materials from Petersburg to Norfolk on the James River.
În copilărie, Joseph a început să muncească la afacerea tatălui său, încărcând marfă pe o plută ce le transporta de la Petersburg spre Norfolk pe râul James.