Smith var fæddur sem Sadie Smith í Willesden í norðvestur-Lundúnum í borginni Brent, en móðir hennar var frá Jamaíka, Yvonne Bailey, og pabbi var frá Englandi, Harvey Smith. Þegar hún var 14 ára breytti hún nafni sínu í Zadie. Móðir Smith ólst upp á Jamaíku og flutti til Englands árið 1969. Foreldrar Smith skildu þegar hún var unglingur. Hún á hálfsystur, hálfbróður og tvo yngri bræður (að annar er rapparinn og stand-up comedian Doc Brown og hinn er rapparinn Sky Lucz). Sem barn var Smith hrifinn af tapdansi og í unglingsárum sínum hugsaði hún um atvinnu í tónlistarlífinu.
Yvonne Bailey