The Sydney dan Parramatta Loyalist Asosiasi, dengan sekitar 50 anggota masing-masing, dibentuk pada tahun 1804 untuk melawan masyarakat radikal di daerah tersebut, dan kemudian membantu untuk menekan pemberontakan tahanan Castle Hill
akhir tahun itu.