A família tinha raízes profundas em Nova Jérsei: John Ogden tinha construído uma casa em Elizabeth em 1664 depois de ter se mudado para Long Island, onde ele tinha liquidado em 1640, de Hampshire, Reino Unido.