Alba alizaliwa katika Pomona, California, kwa Catherine Louisa (née Jensen) na Mark David Alba. mama yake ina Denmark, Welsh, Kijerumani, Kiingereza, na Kifaransa ukoo, wakati baba yake wazazi, ambao walizaliwa katika California, walikuwa wote watoto wa wahamiaji Mexican. Yeye ana ndugu mdogo, Joshua. binamu yake wa tatu, mara moja kuondolewa, ni mwandishi Gustavo Arellano. baba yake Air Force kazi alichukua familia Biloxi, Mississippi, na Del Rio, Texas, kabla ya kukaa nyuma katika Claremont, California, wakati yeye alikuwa na umri wa miaka tisa. Alba ameelezea familia yake kama kuwa "kawaida sana familia <unk> jadi, Katoliki, familia ya Amerika ya Kusini" na kama huria sana; anasema yeye mwenyewe alikuwa na kutambuliwa kama "feminist" kama mapema kama umri wa miaka mitano. Alba alikuwa na alama ya mwanzo wa maisha yake na magonjwa mbalimbali ya kimwili, ambao walizaliwa katika California, walikuwa wote watoto wa wa wahamiaji Mexican.
mara nne hadi tano kwa mwaka