По това време Единбург все още е много скромен град, но наследникът на Давид, Малкълм IV (1153 1165), превръща замъка му в своя основна резиденция.
Наследникът на Дейвид е кралица Маргарет III и тя решава да се премести в замъка Единбург.