Pacinolla on kolme lasta. Vanhin, Julie Marie (syntynyt 1989), on hänen tyttärensä ja näyttelijäkouluttaja Jan Tarrant. Hänellä on myös kaksoset, poika Anton James ja tytär Olivia Rose (syntynyt 25. tammikuuta 2001), näyttelijä Beverly D'Angelon kanssa, jonka kanssa hänellä oli suhde vuodesta 1996 vuoteen 2003. Pacinolla oli suhde Diane Keatonin kanssa. Pacinolla on ollut suhteita Tuesday Weldin, Jill Clayburghin, Marthe Kellerin, Kathleen Quinlanin ja Lyndall Hobbsin kanssa.
Hän ei ole koskaan mennyt naimisiin.