Kuvernööri King mainitsi Rouse Hillin ensimmäisen kerran - kun Castle Hillistä puhdistettiin maata maaliskuussa 1802. Alun perin alue tunnettiin osana Mulgrave Placeä. Se muutettiin Ylä-Nelsoniksi, kun alkuperäinen Hawkesbury Road rakennettiin. Vankien kapina
Castle Hillin hallituksen maatilalla ja sen jälkeisissä tapahtumissa vuonna 1804, joka tunnetaan nimellä Vinegar Hillin taistelu, alue tuli tunnetuksi nimellä Vinegar Hill jonkin aikaa, ennen kuin se muutettiin Rouse Hilliksi paikallisen maanomistajan Richard Rousen pyynnöstä. Rouse oli valloittanut apurahansa vuodesta 1813, vaikkakaan virallinen apuraha annettiin vasta jonkin aikaa myöhemmin.