Al comienzo de la Guerra Civil, Mansfield comandó el Departamento de Washington (27 de abril - 17 de agosto de 1861), y fue ascendido a general de brigada el 6 de mayo de 1861. El general en jefe Winfield Scott recomendó a Mansfield para el mando del ejército de voluntarios que se estaba formando en Washington D.C. esa primavera, pero el mando fue para Irvin McDowell. Mansfield no fue considerado la mejor opción debido a su edad relativamente avanzada y al escepticismo de las tropas voluntarias y al impulso de la administración para un rápido ataque a Richmond que terminaría la guerra en unos meses, y también carecía de un patrocinador político en Washington. Después de la derrota de la Unión en Bull Run, George McClellan fue puesto al mando del esfuerzo de guerra en el Teatro Oriental y las esperanzas de Mansfield de comandar el ejército se desvanecieron nuevamente. McClellan tampoco le ofreció un comando en el recién creado Ejército del Potomac. Mansfield estaba estacionado en
Hatteras Inlet, Carolina del Norte, en octubre, después de la batalla librada allí por Benjamin Butler en agosto. Fue comandante de brigada en el Departamento de Virginia de marzo a junio de 1862. Su única actividad de combate durante este período fue el disparo de baterías costeras desde Hampton Roads contra el acorazado "CSS Virginia" en su batalla naval contra el "USS Monitor" el 9 de marzo de 1862. Hasta el otoño de 1862, Mansfield comandó la División Suffolk del VII Cuerpo del Departamento de Virginia en las cercanías de Suffolk.