Conte foi contratado polo mánager da Juventus, Giovanni Trapattoni, en 1991 (Conte refírese a Trapattoni como o seu "segundo pai"), debutando o 17 de novembro de 1991 contra o Torino. Debido ás súas actuacións consistentes, a súa taxa de traballo, o seu liderado e o seu estilo de xogo tenaz, converteuse nunha figura importante para os fans do club, e máis tarde foi nomeado capitán do equipo baixo Marcello Lippi en 1996, tras a saída do anterior capitán do club, Gianluca Vialli, e antes da promoción de Alessandro Del Piero ao cargo. Durante a tempada 1998/99, cando Del Piero sufriu unha lesión grave no xeonllo, Conte volveu á capitanía, unha posición que mantivo ata a tempada 2001/02. Durante a súa carreira como xogador do Juventus, Conte gañou cinco títulos da Serie A, a Copa de Italia 1994-95, a Copa da UEFA 1992-93 e a Liga de Campións da UEFA 1995-96, así como catro títulos da Supercopa Italiana, a Supercopa da UEFA 1996, a Copa Intercontinental de 1996.
(que perdeu por lesión) e a Copa Intertoto da UEFA de 1999, gañando todos os títulos de clubes de primeira división posibles, agás a Copa dos Campións da UEFA.