仕事一筋に生きてきた吉良にとってあまりにも不名誉な退職でした。吉良に江戸城近くにあった屋敷から本所への転居を命令。本所は江戸のはずれと言われた閑散とした地でした。「もう吉良は用なしだ」そう言わんばかりの幕府の冷たい対応。嫌な奴だったらしいよ。屋敷に引きこもります。通い続けたのだと思われます。いつも一緒にいてほしいっていう気持ちがあってそれが感じ取れたっていうこともあるかもしれないですね。この時の吉良の様子を道有は次のように書き残しています。復讐にやって来るのではないかとずっと気味悪がっておられました」。聞きに通っていたと考えられるのです。心の傷を癒やすためにも欠かせない存在となっていたのです。徐々にトラウマから回復していった吉良は若い頃から大好きだったある趣味を再開します。人との関わりを避けていた吉良が再び友人を招いて茶の湯を楽しむまでになったのです。ひとつ大きな茶会をやってみようかと思っているんじゃよ。知る由もありませんでした。