Weber se alistó para luchar en la Guerra Civil como coronel el 16 de mayo de 1861. Él levantó una unidad germano-estadounidense conocida como los "Rifles Turner", una compañía que eventualmente se convirtió en parte de la 20a Infantería de Nueva York. Weber estaba estacionado en Fort Monroe en Virginia. Él participó en la captura de Fort Hatteras
- ¿ Qué? Desde septiembre de 1861 hasta mayo de 1862, comandó Camp Hamilton, cerca de Fort Monroe, siendo comisionado general de brigada de voluntarios el 28 de abril de 1862. Estaba en Newport News durante la pelea entre el "Monitor" y el "Virginia" en previsión de un ataque confederado por tierra. Participó en la captura de Norfolk, Virginia en mayo, y luego comandó en Suffolk hasta septiembre, cuando se le ordenó al Ejército del Potomac donde comandó la Tercera Brigada, Tercera División, Segundo Cuerpo de Ejército en el Ejército del Potomac.