El famoso Rock Fort, el foco principal de estas batallas, se cierne sobre la ciudad desde lo alto de la gran colina de granito sólido que le dio nombre a la ciudad.
Rock Fort se encuentra frente a la costa arenosa, la primera línea de defensa contra los piratas.