Swanton, jego żona i córka uciekli do Maine podczas wojny domowej, zostawiając dom w opiece wdowy, pani Johnson. W dniu 19 lipca 1864 roku dom stał się siedzibą Armii Tennessee, w drodze do udziału w
Bitwa o Atlantę. Obecność generała Thomasa W. Sweeny'ego w Swanton House jest odnotowana w dokumentach z tamtych czasów. Później, kiedy generał Sherman rozkazał okupację Atlanty we wrześniu 1864 roku, Armia Ohio użyła Swanton House jako swojej siedziby. W ten sposób unikano zniszczenia domu w czasie wojny.