Willis on vanhin neljästä lapsesta. Hänellä on sisar nimeltään Florence ja kaksi veljeä, Robert (kuollut) ja David. Kun Willis vapautettiin armeijasta vuonna 1957, hänen isänsä vei perheensä takaisin Carneys Point Townshipiin, New Jerseyssä. Willis on kuvaillut itseään "sinisen kauluksen ihmisten pitkästä linjasta". Hänen äitinsä työskenteli pankissa ja hänen isänsä oli hitsaaja, mestari mekaanikko ja tehdastyöntekijä. Willis kävi Penns Grove -koulussa kotikaupungissaan, jossa hän tapasi stutterin.
Montclairin osavaltion yliopisto