Na začátku občanské války Mansfield velel Washingtonu (27. dubna - 17. srpna 1861) a 6. května 1861 byl povýšen na brigádního generála. Vrchní generál Winfield Scott doporučil Mansfielda pro velení dobrovolnické armády, která byla vytvořena ve Washingtonu D.C. na jaře, ale místo toho se velení dostalo Irvinovi McDowellovi. Mansfield nebyl považován za nejlepší volbu kvůli jeho relativně pokročilému věku a skepticizmu vůči dobrovolným jednotkám a tlaku administrativy na rychlou jízdu na Richmond, která by ukončila válku za několik měsíců, a také mu chyběl politický sponzor ve Washingtonu. Po porážce Unie u Bull Runu byl George McClellan pověřen velením válečného úsilí na východním bojišti a Mansfieldovy naděje na velení armády byly opět zničeny. McClellan mu také nenabídl velení v nově vytvořené Armádě Potomacu. Mansfield byl umístěn na
Hatteras Inlet, Severní Karolína, v říjnu, po bitvě, kterou tam v srpnu vedl Benjamin Butler. Byl velitelem brigády v departementu Virginie od března do června 1862. Jeho jedinou bojovou aktivitou v tomto období byla střelba pobřežních baterií z Hampton Roads proti pancéřové lodi "CSS Virginia" v její námořní bitvě proti "USS Monitor" 9. března 1862. Až do podzimu roku 1862 Mansfield velel divizi Suffolk VII. sboru departementu Virginie v okolí Suffolku.