平常兼(1045-1126)の五男・常広が匝瑳郡匝瑳郷を領して匝瑳氏を称し匝瑳党を形成した。その常広の子のうち、長男の常正は惣領職を継承。飯高城を築城し飯高を名乗った。湯浅宗重の養子となって湯浅を称した。地頭職を得て匝瑳党に列した。1183(寿永2)年12月、上総介広常は謀反の嫌疑によって源頼朝によって暗殺され上総一族は所領を失った。これに代わったのが同族の千葉介常胤。これに伴って、匝瑳南条庄の地は上総介広常の一族・匝瑳助常の支配から千葉介常胤の弟・椎名胤光の支配下に移った。椎名胤光は柴崎城を築城し、千葉庄から匝瑳南条庄へと移り住んだ。至るまで、同じ千葉氏流に属する飯高氏と椎名氏が互いに争いを繰り返した。匝瑳北条庄地頭であり、飯高氏の庶流とされる平山時常(持常)が城主となった。この平山氏は犬懸上杉禅秀が上総守護職となった際に埴谷重氏とともに入部した武蔵七党の日奉党・平山季重の末裔との説もある。城主の座は息子の平山刑部少輔常時に承継された。1580(天正8)年に、日蓮宗に帰依していた平山常時は日生上人を招いて城内に学問所を設けた。平山常時の息子・常吉は1590(天正18)年に飯高城を蓮成院日尊に寄進し川島蓮成寺に隠居。蓮成院日尊が開いたのが、飯高檀林である。