Woolsey se narodil v Leelanau County, Michigan, 29. srpna 1894, syn Byrona Woolseyho a Sarah Hall. Woolseyho dědeček, Chauncey Woolsey, zemřel v roce 1864 v bitvě u Totopotomoy Creek
v Hanover County, Virginie během občanské války. Jeho pradědeček, Adolphus Woolsey, sloužil ve válce z roku 1812. Woolsey byl potomkem George (Joris) Woolseyho, osadníka z 17. století v Novém Amsterdamu a předchůdce rodiny Woolseyů v Americe.