"Fort Beaufort" šaknys yra misijos stotis, kurią 1816 m. įkūrė Londono misionierių draugijos dvasininkas Josephas Williamsas. 1822 m. karališkojo Varvikšyro pulko pulkininkas Morisas Skotas pastatė blokadą maždaug už trijų mylių nuo misijos stoties, kaip karinį pasienio postą ir tvirtovę prieš jų vadovo Maqoma vadovaujamų xosų puolimus. Britai pavadino jį Fort Beaufort, pagerbdami Beauforto kunigaikštį, lordą Charlesą Henry Somersetą, pirmąjį britų Kapų kolonijos gubernatorių (1814-1826 m.). Po 6-ojo Xhosa karo
1834-1835 m. gubernatorius seras Benjaminas d'Urbanas leido pastatyti tvirtovę ant originalios pilies. Naujuose pastatuose buvo karinė ligoninė, sargybinių būstai, pėstininkų barakų ir karininkų kambariai.