Dział Wirginii został utworzony 22 maja 1861, aby obejmować wszystkie obszary w promieniu 60 mil od Fortu Monroe i wszelkie części Karoliny Północnej i Karoliny Południowej okupowane przez armię Unii. Pierwszym dowódcą został mianowany generał major Benjamin F. Butler. Wczesne bitwy podjęte przez żołnierzy z tego wydziału pod dowództwem generała Butlera obejmowały akcje w Big Bethel i Hatteras Inlent.
- Co? Na początku departament był również znany jako Departament Południowo-Wschodniej Wirginii.