記録には次のように記される。聖武天皇の御剣として正倉院北倉に納められていたものであったが、明治5年(1872年)年3月の宝物修理の際に、明治天皇が取り寄せられ、そのまま手元に留め置いたものである。明治5年(1872年)5月5日の皇居炎上の際に拵えは炎上したが、金物だけは残ったという。明治5年(1872年)1月5日に宮内省御金物御用を申し付けられた加納夏雄により、水龍文の拵が製作され、翌6年に完成。終結したのち皇室財産は国に属するものとされ、刀剣類の一部は御物に留まったものの、「水龍剣」は他の幾つかの刀剣類と共に昭和22年(1947年)国立博物館(現在の東京国立博物館)に移管された。以後は同博物館に所蔵され、昭和32年(1957年)に重要文化財指定を受けた。