Gibbons fæddist í Newark í New Jersey og ólst upp í Belleville í New Jersey. Hann útskrifaðist frá Saint Benedict's undirbúningsskóla árið 1942. Hann þjónaði í bandarísku hernum frá 1943 til 1946. Gibbons útskrifaðist frá College of the Holy Cross árið 1947 með Bachelor of Science gráðu og frá Harvard Law School árið 1950 með Bachelor of Laws. Eftir útskrift gekk Gibbons til liðs við fyrirtækið Crummy & Consodine. Eftir nokkur ár hjá fyrirtækinu var hann nefndur félagi og nafn fyrirtækisins breytt í Crummy, Consodine & Gibbons. Árið 1967 varð Gibbons forseti lögmannafélags New Jersey og einnig félagi í nefnd ríkisstjóra um borgaraleg óeirð. Þetta var á tímum Newark óeirða
sem lét 23 manns deyja og yfir 1500 handteknir. Fyrirtækið brugðist við með því að senda bíla fulla af lögfræðingum til dómstóla til að flýta fyrir afgreiðslu umsókna um tryggingu og draga úr ofþéttingu fangelsisins. Fyrirtækið fulltrúaði marga af þeim ákærðum á pro bono grundvelli.