Stedet fikk ytterligere betydning da Ulrich Frederik Gyldenløve bygde befestningene på Citadelløya på 1600-tallet og flåtestasjonen og galeiverftet for marinen ble flyttet fra Lagmannsholmen i Kristiansand til Stavern omkring 1758.