Conte va ser signat pel manager de la Juventus Giovanni Trapattoni el 1991 (Conte es refereix a Trapattoni com el seu "segon pare"), debutant el 17 de novembre de 1991 contra el seu rival de la ciutat, el Torino. A causa de les seves actuacions consistents, el seu ritme de treball, el seu lideratge i el seu estil de joc tenaç, es va convertir en una figura important entre els aficionats del club, i més tard va ser nomenat capità de l'equip sota Marcello Lippi el 1996, després de la sortida del capità anterior del club, Gianluca Vialli, i abans de la promoció d'Alessandro Del Piero al càrrec. Durant la temporada 1998/99, quan Del Piero va patir una greu lesió al genoll, Conte va tornar a ser capità, una posició que va mantenir fins a la temporada 2001/02. Durant la seva carrera jugant al Juventus, Conte va guanyar cinc títols de la Serie A, la Copa d'Itàlia 1994-95, la Copa de la UEFA 1992-93 i la Lliga de Campions de la UEFA 1995-96, així com quatre títols de la Supercopa d'Itàlia, la Supercopa de la UEFA 1996, la Copa Intercontinental 1996
(que es va perdre a causa d'una lesió) i la Copa Intertoto de la UEFA de 1999, guanyant tots els títols de clubs de primer nivell possibles, a part de la Copa de la UEFA.