Desde o século XV, a área da cidade, incluíndo outras partes de Labuan, estaba baixo o Imperio Bruneian. A súa historia remóntase á época en que a illa foi cedida polo sultán Omar Ali Saifuddin II aos británicos. Rodney Mundy, un oficial naval británico, máis tarde visitou a illa baixo o nome da raíña Vitoria. A illa foi ocupada polo Xapón desde o 3 de xaneiro de 1942 ata xuño de 1945 e gobernada como parte da unidade militar de Borneo do Norte polo 37o Exército xaponés. Durante a batalla de Labuan
Foi liberada pola 9a División da Forza Imperial Australiana o 10 de xuño de 1945 e colocada baixo unha Administración Militar Británica ata o 15 de xullo de 1946, cando foi incorporada á Colonia da Coroa de Borneo do Norte. Durante este tempo, o goberno da Colonia da Coroa restableceu gran parte da infraestrutura que fora destruída durante a guerra. A illa máis tarde converteuse en parte do estado de Sabah e Malasia en 1963 antes de que o goberno estatal de Sabah cedese a illa ao goberno federal en 1984. Foi declarado un centro financeiro internacional offshore e zona de libre comercio en 1990 para axudar ao desenvolvemento de Victoria.