Alba lahir di Pomona, California, dari Catherine Louisa (née Jensen) dan Mark David Alba. Ibunya memiliki keturunan Denmark, Welsh, Jerman, Inggris, dan Prancis, sementara kakek-nenek dari pihak ayahnya, yang lahir di California, adalah anak-anak imigran Meksiko. Dia memiliki saudara laki-laki yang lebih muda, Joshua. Sepupu ketiga, sekali dikeluarkan, adalah penulis Gustavo Arellano. Karir Angkatan Udara ayahnya membawa keluarga ke Biloxi, Mississippi, dan Del Rio, Texas, sebelum menetap kembali di Claremont, California, ketika dia berusia sembilan tahun. Alba telah menggambarkan keluarganya sebagai "keluarga yang sangat konservatif <unk> keluarga tradisional, Katolik, Amerika Latin" dan sangat liberal; dia mengatakan bahwa dia telah mengidentifikasi dirinya sebagai "feminis" sejak usia lima tahun.
empat sampai lima kali setahun