Weber se zapsal do občanské války jako plukovník 16. května 1861. Založil německo-americkou jednotku známou jako "Turner Rifles", která se nakonec stala součástí 20. newyorské pěchoty. Weber byl umístěn ve Fort Monroe ve Virginii. Zúčastnil se dobytí Fort Hatteras.
- Ne, ne. Od září 1861 do května 1862 velitel Camp Hamilton, poblíž Fort Monroe, byl pověřen brigádním generálem dobrovolníků dne 28. dubna 1862. Byl v Newport News během boje mezi "Monitorem" a "Virginia" v očekávání útoku Konfederace ze země. V květnu se zúčastnil dobytí Norfolku ve Virginii a pak velel v Suffolku až do září, kdy byl přidělen k armádě Potomacu, kde velel třetí brigádě, třetí divizi, druhému armádnímu sboru v armádě Potomacu.