鬼ノ城は、古代の正規の歴史書には登場しないが、後世の文献である鬼ノ城縁起などにでてくる。それによると「異国の鬼神が吉備国にやって来た。彼は百済の王子で名を温羅(うら)という。彼はやがて備中国の新山(にいやま)に居城を構え、しばしば西国から都へ送る物資を奪ったり、婦女子を掠奪したので、人々は恐れおののいて「鬼ノ城」と呼、都へ行ってその暴状を訴えた・・・」。これが、一般に温羅伝承と呼ばる説話で、地名もこれに由来している。