幕末は宗家である水戸藩が尊皇に傾き、また逆に最後の藩主・頼聰の正室が井伊直弼の娘という立場から、苦しい立場に立たされた。結局、慶応4年(1868年)の鳥羽伏見の戦いでは旧幕府方に就いたため、朝敵となった。>これにより土佐藩・丸亀藩などが高松城下に進駐したが、戦わずに家老を処分し、頼聰も謹慎して恭順の意を示したことにより赦免された。>祇園会神輿渡御の際、「六人の棒の衆」として先行し、法師姿で赤い布衣に白い布で覆面し、眼だけ出して八角棒を持つという。>僧形の覆面し、笠を被っている。>山上が帝国学士院より受賞した研究『日本甲冑の新研究』は、上下巻を合わせて2500ページに迫る膨大なもので、その中で紹介されている日本全国の甲冑資料も、非常に豊富である。現代の甲冑研究にも強い影響を与え続けている大著である。