Smith var fæddur Sadie Smith í Willesden í norðvestur-London borough of Brent til jamaískar móður, Yvonne Bailey, og enska föður, Harvey Smith. Þegar hún var 14 ára breytti hún nafni sínu í Zadie. Móðir Smith ólst upp á Jamaíka og flutti til Englands árið 1969. Foreldrar Smith skildu þegar hún var unglingur. Hún hefur hálfsystur, hálfbróður og tvo yngri bræður (ein er rapparinn og stand-up comedian Doc Brown, og hinn er rapparinn Sky Lucz). Sem barn var Smith hrifinn af tapdancing, og í unglingsárum sínum, hún taldi atvinnu í tónlistarlífinu.
vann peninga sem djass söngvari,