영지 내의 토지조사를 가혹하게 실시
나오노리는 성곽의 대개축과 조카마치 확장공사를 시행하는 등, 무라카미 번은 이때 최전성기를 맞게 된다. 하지만 그 비용을 염출하는 과정에서 영지 내의 토지조사를 가혹하게 실시하였고, 농민들의 도망이 속출하였다. 또한 나오노리도 18년 뒤인 간분 7년(1667년) 음력 6월에 옛 영지인 히메지로 돌아가 버렸다. 대신 히메지로부터 사카키바라 마사미치가 번주로 들어왔다. 간분 7년 음력 10월, 무라마키 성의 천수각 3층 건물이 낙뢰로 인해 소실되었고, 이후 천수각은 다시 조영되지 않았다. 호에이 원년(1704년) 음력 5월 28일, 마사미치의 뒤를 이은 번주 사카키바라 마사쿠니가 히메지로 전봉되면서, 대신 히메지로부터 혼다 다다타카(혼다 다다타카 (1698년))가 15만 석 영주로 들어왔다. 하지만 다다타카는 무라카미 성에 한 번도 들어가 보지도 못하고 호에이 6년(1709년) 음력 9월 13일에 사망하였다.
나오노리가 조카마치 확장공사를 시행할 때 많은 농민들이 도망간 이유는
무라카미 번