Hän siirtyi 14-vuotiaana Chelseaan, jossa pelasi klubin nuoriso- ja varajoukkueissa. Keskipuolustajien puutteen vuoksi hänet siirrettiin keskustaan, missä hän pelaa nykyään. Koulun päätyttyä hän liittyi klubiin 16-vuotiaana ja allekirjoitti ammattilaisehdot vuoden kuluttua. Terry debytoi 28. lokakuuta 1998 paikallisessa Sunday League -joukkueessa Senrab, jossa oli mukana myös tulevaisten Premier League -pelaajien Chelsea Sol Campbell, Jermain Defoe, Bobby Zamora, Ledley King ja Jlloyd Samuel. Poikana hän oli alun perin osa West Ham Unitedin nuorisojärjestelmää ja liittyi joukkueeseen puolivälittäjänä vuonna 1991.
Syyskuun 11. päivän hyökkäykset