Na początku wojny domowej Mansfield dowodził Departamentem Waszyngtonu (27 kwietnia - 17 sierpnia 1861) i został awansowany na generała brygady 6 maja 1861. Naczelny generał Winfield Scott polecił Mansfielda na dowódcę armii ochotników powstającej w Waszyngtonie tej wiosny, ale dowództwo trafiło do Irvina McDowella. Mansfield nie był uważany za najlepszy wybór ze względu na jego stosunkowo zaawansowany wiek i sceptycyzm wobec oddziałów wolontariuszy oraz nacisk administracji na szybki napęd na Richmond, który zakończyłby wojnę w ciągu kilku miesięcy, a także brakowało mu politycznego sponsora w Waszyngtonie. Po porażce Unii w Bull Run, George McClellan został wyznaczony na dowódcę wysiłków wojennych na wschodnim teatrze, a nadzieje Mansfielda na dowództwo armii zostały ponownie zniszczone. McClellan również nie zaoferował mu dowództwa w nowo utworzonej Armii Potomacu. Mansfield stacjonował w Hatteras Inlet w Północnej Karolinie
, w październiku, po bitwie stoczonej tam przez Benjamina Butlera w sierpniu. Był dowódcą brygady w Departamencie Wirginii od marca do czerwca 1862 roku. Jego jedyną aktywnością bojową w tym okresie było ostrzelanie baterii przybrzeżnych z Hampton Roads przeciwko pancernemu "CSS Virginia" w bitwie morskiej przeciwko "USS Monitor" 9 marca 1862 roku. Do jesieni 1862 Mansfield dowodził Dywizją Suffolk VII Korpusu Departamentu Wirginii w okolicach Suffolk.