Alba s-a născut în Pomona, California, în familia lui Catherine Louisa (născută Jensen) și Mark David Alba. Mama ei a avut strămoși danezi, galesi, germani, englezi și francezi, în timp ce bunicii ei din partea tatălui, care s-au născut în California, au fost amândoi copii ai imigranților mexicani. Ea are un frate mai mic, Joshua. Vărul ei al treilea, odată îndepărtat, este scriitorul Gustavo Arellano. Cariera tatălui ei în Forțele Aeriene a dus familia la Biloxi, Mississippi și Del Rio, Texas, înainte de a se stabili din nou în Claremont, California, când avea nouă ani. Alba și-a descris familia ca fiind o "familie foarte conservatoare <unk> o familie tradițională, catolică, latino-americană" și foarte liberală; ea însăși spune că s-a identificat ca fiind "feministă" încă de la vârsta de cinci ani.
de patru până la cinci ori pe an