元弘2年(1332)に後醍醐天皇が逆臣北条高時のために隠岐に流される途中、この館にお泊りになり児島高徳が大門の傍らの桜の幹を削って詩をしるし、天皇をお慰めした故事は、後世の人びとを感動させました。東山天皇の貞享5年(1688)津山藩森家の執政(家老)長尾勝明が建碑して高徳の忠誠を顕彰し明治になってから作楽神社が創建される基を作りました。碑の漢文は白文ですが、訓読すると次の通りです。桜を削りて書して云ふ、天勾践を空しうすること莫かれ時に范蠡無きにしも非ずと、事、口碑に詳し。今、邑民伝へ称すらく、往昔の桜、泯滅して既に旧し、厥の地曽て東大門と号す。近ごろ其の遺蹤に困りて、新桜一株を栽ゑ、又石に刊みて渠の忠誠を旌し、且つ人をして行在の蹟を織らしめんと欲す。銘に曰く、皇帝赫怒して、鳳駕西に翔けたまふ。