V roce 1861, na začátku občanské války, byl jmenován velitelem New Yorkské národní gardy, brigádním generálem Johnem F. Rathboneem, aby sloužil jako hlavní lékařský důstojník v Albanyském skladišti. V červnu 1862, po bitvě u Savage Station
Když armáda Potomacu a její lékaři ustoupili, Swinburne zůstal, aby se postaral o tisíce zraněných vězňů, jak unionistů, tak konfederátů. V úctě k jeho zásadnímu postoji mu konfederační velitel Stonewall Jackson dal propustku s doprovodnou osobní poznámkou, která mu umožňovala návštěvy vězňů Unie. V roce 1864 ho guvernér Horatio Seymour jmenoval na místo zdravotního úředníka přístavu New York a v roce 1867 byl znovu jmenován guvernérem Reubenem Fentonem, který sloužil celkem šest let až do roku 1870. Během své administrativy, navzdory neochotě státního zákonodárce přidělit finanční prostředky, dohlížel na výstavbu tehdejších nejmodernějších karanténních zařízení na ostrovech, které byly pojmenovány Swinburne a Hoffman.