3郭内部には忠魂碑が建てられていた。3郭と2郭との間の堀切は切り通しの道となって下の方に続いている。人首氏の領域であり、人首城も人首氏の居城であったと思われる。天正18年、葛西氏の没落に伴い、人首氏も改易となってしまう。近世に入ると、人首城は、伊達家の要害として維持されるようになった。慶長11年、伊達家臣の沼辺摂津守重仲が、当地に入城し、以後明治維新まで沼辺氏の支配が10代に渡って続けられたという。