En 1861, al comienzo de la Guerra Civil, fue nombrado por el comandante de la Guardia Nacional de Nueva York, el general de brigada John F. Rathbone, para servir como oficial médico jefe en el depósito de Albany. En junio de 1862, después de la Batalla de Savage's Station
Cuando el Ejército del Potomac, junto con sus médicos, se retiraron, Swinburne permaneció para cuidar a los miles de prisioneros heridos, tanto de la Unión como de la Confederación. Respetando su posición de principio, el comandante confederado Stonewall Jackson le dio un pase, con una nota personal que lo acompañaba, permitiendo visitas a prisioneros de la Unión. En 1864, el gobernador Horatio Seymour lo nominó para el cargo de Oficial de Salud del Puerto de Nueva York y, en 1867, fue renombrado por el gobernador Reuben Fenton, sirviendo un total de seis años, hasta 1870. Durante su administración, a pesar de la renuencia de la legislatura estatal a asignar fondos, supervisó la construcción de las instalaciones de cuarentena más modernas de la época en las islas que fueron nombradas Swinburne y Hoffman.