Rouse Hill on merkittävä paikka Australian historiassa, sillä siellä käytiin tärkein taistelu irlantilaisten vankien kapinan aikana, joka tunnetaan nimellä Castle Hill -kapina
tai "Vinegar Hillin toinen taistelu". 4. maaliskuuta 1804 irlantilaiset vangit, mukaan lukien poliittiset vankit, jotka kuljetettiin osallistumisestaan irlantilaiseen kapinaan vuonna 1798, murtautuivat Castle Hillin hallituksen maatilalta tavoitteenaan vallata alue ja vallata Parramatta. Seuraavana päivänä sotilasviranomaiset murskasivat kansannousun Rouse Hillissä, ja taistelussa kuoli ainakin viisitoista kapinallista. Yhdeksän kapinanjohtajaa teloitettiin ja satoja rankaistiin. Taistelun tarkka paikka on epävarma, mutta muistomerkki, jossa on muistolauta tapahtumasta, on nähtävissä Castlebrook Lawnin hautausmaalla Windsor Roadilla Kellyville Ridgeen.