Ao comezo da Guerra Civil, Mansfield comandou o Departamento de Washington (27 de abril - 17 de agosto de 1861), e foi ascendido a xeneral de brigada o 6 de maio de 1861. O xeneral en xefe Winfield Scott recomendou a Mansfield para o mando do exército de voluntarios que se levantaba en Washington D.C. esa primavera, pero o mando foi para Irvin McDowell. Mansfield non foi considerado a mellor opción debido á súa idade relativamente avanzada e o escepticismo das tropas voluntarias e o impulso da administración para un rápido ataque a Richmond que acabaría coa guerra en poucos meses, e tamén carecía dun patrocinador político en Washington. Despois da derrota da Unión en Bull Run, George McClellan foi colocado ao mando do esforzo de guerra no Teatro Oriental e as esperanzas de Mansfield de mando do exército foron de novo frustradas. McClellan tampouco lle ofreceu un mando no recentemente creado Exército do Potomac. Mansfield estaba estacionado en Hatteras Inlet, Carolina do Norte
, en outubro, despois da batalla librada alí por Benjamin Butler en agosto. Foi comandante de brigada no Departamento de Virxinia de marzo a xuño de 1862. A súa única actividade de combate durante este período foi o disparo de baterías costeiras desde Hampton Roads contra o blindado "CSS Virginia" na súa batalla naval contra o "USS Monitor" o 9 de marzo de 1862. Ata o outono de 1862, Mansfield comandou a División Suffolk do VII Corpo do Departamento de Virxinia nas proximidades de Suffolk.