Woolsey gimė Leelanau apygardoje, Mičigane, 1894 m. rugpjūčio 29 d., Byron Woolsey ir Sarah Hall sūnumi. Woolsey senelis, Chauncey Woolsey, mirė 1864 m. Totopotomoy kreko mūšyje
Hanoverio apygardoje, Virdžinijoje, Pilietinio karo metu. Jo prosenelis Adolphus Woolsey dalyvavo 1812 metų kare. Woolsey buvo George'o (Joris) Woolsey, 17-ojo amžiaus Naujojo Amsterdamo gyventojo ir Woolsey šeimos Amerikos protėvio, palikuonis.