По-късно те го възстановяват, за да укрепят собствения си престиж, само за да го изгорят отново в пристъп на яд, когато Мейджи Реставрацията на имперската власт премахна техния шогунат през 1868 г.
Те възстановиха сградата си, след като беше опожарена от реставрацията Мейджи.