He married Isabel Barrows October 14, 1874, they had three children, Milton Barrows Brown, Isabel Russell Brown (later Brunschwig), and Hope Caroline Brown (later Chapin).
Er heiratete am 14. Oktober 1874 Isabel Barrows, mit der er drei Kinder hatte, Milton Barrows Brown, Isabel Russell Brown (später Brunschwig) und Hope Caroline Brown (später Chapin).