Nos primeiros anos da Guerra Civil, os cuarteis do norte foron usados para reter oficiais confederados tomados como prisioneiros de guerra pendentes de transferencia a outras prisións da Unión como Camp Johnson en Ohio, Fort Delaware ou Fort Warren en Boston Harbor. Fort Columbus e Castle Williams tamén serviron como campo de prisioneiros de guerra temporal e hospital de confinamento para prisioneiros confederados durante a guerra. O xeneral William H. C. Whiting (CSA) morreu de disentería en febreiro de 1865 no hospital do posto pouco despois da súa rendición na batalla de Fort Fisher
Carolina do Norte. Foi o oficial confederado de máis alto rango que morreu como prisioneiro de guerra.