比高400mもあるのだから当然といえば当然だが、よくもまあこんな峨々たる山上に城を築く気になったものだ。袿掛岩の辺りから西御殿を見たところ。西御殿の下にある殿池。このような山中にこれだけの池があるというのも驚きだが、このような池があるからこそ、この城に籠城することもできたのであろう。杣山城は瓜生氏の城であった。城主瓜生保は、建武3年(1336)、金ヶ崎城の南朝方を支援して挙兵した。『太平記』によると500騎ほどの兵が7000余石の兵糧を詰め込んで籠城したという。その翌年、瓜生保は兵を率いて金ヶ崎城に向かったが、葉原の地で足利軍と合戦になり、敗れてしまった。翌5年、新田義貞と弟の脇屋義助がここに籠城し、足利高経の軍と戦ったという。その後杣山城は足利軍の手に落ち、足利高経が城主となった。室町時代に入ると、杣山城は守護斯波氏の家臣増沢甲斐守が城主となり、新興勢力の朝倉敏景と戦ったという。その後戦国期には一向宗に奪われ、一向宗の持ち城となっていた。