Aboriginaalit Cabrogalin heimosta, joka on Gandangaran heimon osa-ryhmä, ovat asuneet Fairfieldin alueella yli 30 000 vuotta. Fairfieldissä alkoi asustaa eurooppalaisia 1800-luvun alussa. Horsley Park oli alun perin osa eversti George Johnstonin omaisuutta "Kings Gift", jonka kuvernööri King antoi hänelle osakseen irlantilaisen kapinan tukahduttamisessa Vinegar Hillissä.
Vuonna 1804.