Hän siirtyi 14-vuotiaana Chelseaan, jossa pelasi klubin nuoriso- ja varajoukkueissa. Keskipuolustajien puutteen vuoksi hänet siirrettiin keskustaan, missä hän pelaa nykyään. Koulun päätyttyä hän liittyi klubiin 16-vuotiaana ja allekirjoitti ammattilaisehdot vuoden kuluttua. Terry debytoi 28. lokakuuta 1998 paikallisessa Sunday League -joukkueessa Senrab, jossa oli mukana myös tulevaisuuden Premier League -pelaajat Chelsea Sol Campbell, Jermain Defoe, Terry Morris, Ledley King ja Jlloyd Samuel. Poikana hän oli alun perin osa West Ham Unitedin nuorisojärjestelmää ja liittyi joukkueeseen puolivälinpelaajana vuonna 1991.
Haukku