Willis ni agbalagba ti awọn ọmọ mẹrin pẹlu arabinrin kan ti a npè ni Florence ati awọn arakunrin meji, Robert (ti o ku) ati David.Lẹhin ti o ti yọ kuro ni ologun ni ọdun 1957, baba Willis mu ẹbi rẹ pada si Carneys Point Township, New Jersey. Willis ti ṣe apejuwe ara rẹ bi ẹni ti o wa lati "laini gigun ti awọn eniyan alawọ awọ". Iya rẹ ṣiṣẹ ni banki kan ati pe baba rẹ jẹ alurinmorin, oluwa ẹrọ, ati oṣiṣẹ ile-iṣẹ. Willis lọ si Penns Grove ni ilu abinibi rẹ, nibiti o ti pade pẹlu stutter kan.
Yunifásítì Ìpínlẹ̀ Montclair