粟ヶ森城は南へ伸びた比高60m程の丘陵に築かれている。南北二郭の城で、北曲輪には「祖神」が祀られている。北側は切岸となっているが、南側は不明瞭で、南曲輪とは鞍部で繋がる。南曲輪は周囲に切岸が巡り帯曲輪が付く。北曲輪から北へ続く尾根は山道が付けられてはっきりしない部分も多いが、山道とは関係なく竪堀が残っているので堀切があったようである。東麓に荒田集会所があり、その少し北にあるお堂と墓地の間から山道が付いている。これを登れば北曲輪の北側の尾根に達する。