当時の上杉藩は財政が逼迫(ひっぱく)しており通常柱の高さが六尺(182cm)とされていたが、上杉藩では五尺七寸と定められていたらしい。何とか五尺八寸までの高さにしてもらったと聞かされている。田舎においては柱の太さ、材質、広さと当時にしては画期的な建築であったらしい。屋根は茅葺きであったが、明治の末頃、茅の上にトタンを張ったと思われる。幕末から維新にかけ、時の西郷従道(西郷隆盛の弟)率いる官軍が奥州を通った折、宿を呈したものか。他に何らかの協力をしたものかは定かではないが、西郷従道より齋藤次郎ヱ門宛の感謝状が残されてあったのを記憶している。昭和になって昔の建物が解体された折、喪失したのが惜しまれてならない。大正初めに再び敷地内に温泉の発掘が行われ、新たに四十度くらいの温泉が湧き出たのである。新しい温泉は乳白色をした硫黄泉であった。よって集中管理が行われるまで続いておったが、集中管理が始まってまもなくやはり湯脈が通じていたものなのか、まもなく二つの湯は途絶えたのである。その頃より(兄治郎)敷地の広さの利を生かし離れ式の部屋を増築し、旅館業を本業とするに至った。昭和四十年代(弟悟郎)昔の母屋と蔵を解体し門を作り現代風ながら落ち着いた建物に改造し、離れ式も引き継がれた。宿として始められた折の宿名を「森の湯」と命名したのは次のような事ではなかったかなと思われる。斎藤家の南西(現在の源泉地)のすぐ近くに森山と称する小高い丘があった。その丘に二つの観音堂が建立されてあった。いつの時代に建立されたのかは分からないが、かなり古い時代の建造のように記憶している。その観音堂の管理は代々斎藤家の当主が行い、年に一回のお祭りも催され森山の観音様として近在の人たちの信仰を集めていたらしい。「森山の観音様」、「森山のお湯」といわれるようになり、そこから「森の湯」と云う旅館名がついたのではないかと推測される。森山は昭和三十年代、市の区画整理により道路となり観音堂は現在東正寺の管理下に納められている。時代の流れに伴い多々変遷はあったが、今は全館一戸建て平屋の離れ式旅館として古き歴史の重みと風格を漂わせて現存する。現在の当主は三十八代目と称されているが、あくまでも口頭により伝承されたもので、確かな資料がないのが残念である。