1497(明応6)年から1501(文亀元)年頃に朝比奈泰煕が今川氏親から命ぜられて遠州支配の拠点として築いた。後裔との言い伝えがある。朝比奈義秀は勇猛果敢な武士。鎌倉時代に執権北条義時と闘い、一族郎党が由比ガ浜で殲滅された和田合戦時には最後の最後まで北条氏率いる幕府軍に打撃を与えた。由比ガ浜に追い詰められると、残った兵を引き連れて所領の安房朝夷郡を目指して海に漕ぎ出したという。この朝夷郷が朝比奈三郎義秀に由来するものなのか否かは義秀のみぞ知る。末裔の堤公国が駿河国司となった後に駿河朝夷郷に土着したことが始まりとする言い伝えもある。