He was the second son of Benjamin Stephens, a successful New Jersey merchant, and Clemence Lloyd, daughter of an eminent local judge.
Han var den anden søn af Benjamin Stephens, en succesrig handelsmand, og Clemence Lloyd, datter af en fremtrædende lokal dommer.