A polgárháború idején Swanton, felesége és lánya Maine-be menekült, és a házat egy özvegy, Mrs. Johnson gondjaira bízta. 1864. július 19-én a ház lett a főhadiszállás a Tennessee hadseregének, útban a részt a
Atlanta csata. Thomas W. Sweeny tábornok jelenléte a Swanton házban fel van jegyezve az akkori feljegyzésekben. Később, amikor 1864. szeptemberében Sherman tábornok elrendelte Atlanta megszállását, az Ohio hadsereg a Swanton House-t használta főhadiszállásként. Így a ház megmenekült a pusztulástól a háborúban.