Alba édesanyja dán, walesi, német, angol és francia származású volt, míg édesapja nagyszülei, akik Kaliforniában születtek, mindketten mexikói bevándorlók gyermekei voltak. Van egy fiatalabb testvére, Joshua. Harmadik unokatestvére, Gustavo Arellano író. Apja légierői pályafutása a családot Biloxiba, Mississippibe és Del Rióba vitte, mielőtt kilenc éves korában visszatelepedett volna Claremontba, Kaliforniába. Alba családját "nagyon konzervatív családnak" és nagyon liberálisnak nevezte; azt mondja, hogy önállóan "feministának" tekintette magát.
évente négy-öt alkalommal