Weber wstąpił do wojny domowej jako pułkownik 16 maja 1861. Podniósł niemiecko-amerykańską jednostkę znaną jako "Turner Rifles", kompanii, która ostatecznie stała się częścią 20. New York Infantry. Weber stacjonował w Fort Monroe w Wirginii. Brał udział w zajęciu Fortu Hatteras.
- Co? Od września 1861 do maja 1862 dowodził obozem Hamilton, w pobliżu Fortu Monroe. 28 kwietnia 1862 został mianowany generałem brygady ochotników. Był w Newport News podczas walki między "Monitorem" i "Virginia" w oczekiwaniu na atak Konfederacji z lądu. Brał udział w zajęciu Norfolk w stanie Wirginia w maju, a następnie dowodził w Suffolk do września, kiedy to otrzymał rozkaz do Armii Potomacu, gdzie dowodził Trzecią Brygadą, Trzecią Dywizją, Drugim Korpusem Armii w Armii Potomacu.