Od 15. století byla oblast města včetně dalších částí Labuanu pod Brunejským císařstvím. Její historie sahá až do doby, kdy ostrov Sultan Omar Ali Saifuddin II. postoupil Britům. Rodney Mundy, britský námořní důstojník, později navštívil ostrov pod jménem královny Viktorie. Ostrov byl pak okupován Japonskem od 3. ledna 1942 do června 1945 a řízen jako součást vojenské jednotky Severního Bornea japonskou 37. armádou. Během bitvy u Labuanu
10. června 1945 byla osvobozena 9. divizí australských císařských sil a byla umístěna pod britskou vojenskou správou až do 15. července 1946, kdy byla začleněna do Korunní kolonie Severní Borneo. Během této doby vláda Korunní kolonie obnovila velkou část infrastruktury, která byla během války zničena. Ostrov se později stal součástí státu Sabah a Malajsie v roce 1963, než vláda státu Sabah postoupila ostrov federální vládě v roce 1984. V roce 1990 byla prohlášena za mezinárodní offshore finanční centrum a zónu volného obchodu, aby pomohla rozvoji Victorie.