Alba on syntynyt Pomonassa, Kaliforniassa, Catherine Louisan (syntymäaika Jensen) ja Mark David Alban lapseksi. Hänen äitinsä on tanskalainen, walesilainen, saksalainen, englantilainen ja ranskalainen alkuperä, kun taas hänen isänpuoleiset isovanhempansa, jotka syntyivät Kaliforniassa, olivat molemmat meksikolaisten maahanmuuttajien lapsia. Hänellä on nuorempi veli, Joshua. Hänen kolmannen serkkunsa, kerran poistettu, on kirjailija Gustavo Arellano. Hänen isänsä ilmavoimien ura vei perheen Biloxiin, Mississippissä ja Del Rioon, Texasissa, ennen kuin hän asettui takaisin Claremontissa, Kaliforniassa, kun hän oli yhdeksänvuotias.
4-5 kertaa vuodessa