Ann an 1844 chaidh Eilean Leòdhais a cheannach le Sir Seumas MacMhathain, fear a rinn fhortan a-mach à gnothachas an opium san Ear Chian, agus dh'òrdaich e togail Chaisteal Leòdhais ann an 1847. Bha an caisteal seachd bliadhna ga thogail aig cosgais £60,000, agus tha e na shuidhe an taobh an iar chala Steòrnabhaigh.