Woolsey sa narodil 29. augusta 1894 v okrese Leelanau v štáte Michigan ako syn Byrona Woolseya a Sarah Hallovej. Woolseyho starý otec, Chauncey Woolsey, zomrel v roku 1864 v bitke pri potoku Totopotomoy
v Hanover County, Virginia počas občianskej vojny. Jeho pradedo, Adolphus Woolsey, slúžil vo vojne z roku 1812. Woolsey bol potomkom Georgea (Jorisa) Woolseyho, osadníka z 17. storočia v Novom Amsterdame a predchodcu rodiny Woolseyovcov v Amerike.