Weber sa prihlásil do občianskej vojny ako plukovník 16. mája 1861. Vybudoval nemecko-americkú jednotku známu ako "Turner Rifles", spoločnosť, ktorá sa nakoniec stala súčasťou 20. newyorskej pechoty. Weber bol umiestnený vo Fort Monroe vo Virgínii. Zúčastnil sa dobývania pevnosti Hatteras.
- Áno. Od septembra 1861 do mája 1862 bol veliteľom tábora Hamilton, neďaleko pevnosti Monroe, a 28. apríla 1862 bol poverený brigádnym generálom dobrovoľníkov. Bol v Newport News počas boja medzi "Monitorom" a "Virginia" v očakávaní útoku Konfederácie zo zeme. V máji sa zúčastnil na dobytí Norfolku vo Virgínii a potom velel v Suffolku až do septembra, kedy dostal príkaz do armády Potomacu, kde velel tretej brigáde, tretej divízii, druhom armádnemu zboru v armáde Potomacu.