Karl și Theo Albrecht s-au născut și au crescut într-o familie catolică în condiții modeste în Essen, Germania. Tatăl lor, Karl Sr, a fost angajat ca miner și mai târziu ca asistent de brutar. Mama lor, Anna, născută Siepmann, avea o mică băcănie în cartierul muncitorilor din Schonnebeck, o suburbie a Essenului. Theo a absolvit un stagiu de ucenicie în magazinul mamei sale, în timp ce Karl a lucrat într-un magazin de delicatese. Karl a servit în Wehrmacht în timpul celui de-al Doilea Război Mondial și a fost rănit pe Frontul de Est. După război, frații au preluat împreună afacerile mamei lor și au fondat Albrecht KG. Ei au separat acea companie în 1961 în Aldi Nord, acoperind partea de nord a Germaniei Ruhr sub Theo Albrecht și Karl Aldi Süd.
Armata germană