Bha an caisteal spaideil airson greiseag, anmoch anns na 1800an, le daoine a' tighinn airson sealg ach, le cosgaisean àrda a' cumail Tùr Ackergill, agus le fiachan anns an linn Bhictòrianach, thòisich e a' crìonadh mean air mhean.