息障院がある一帯が、源範頼の居館跡と伝えられている。源範頼は頼朝の弟で平治の乱後、岩殿山に逃げ比企氏の庇護によって成長した。頼朝が鎌倉で勢力を得た後も吉見に住んでいたと思われ、館を中心とするこの地を御所と呼ぶようになったと言われている。言われているが、頼朝・義経の生涯が良く知られていることに対して、不明なことや謎とされていることが多い。源平の合戦では義経と共に平氏追討軍を指揮していたが、頼朝が征夷大将軍になると謀反の疑いをかけられ、建久四年(1193年)八月に伊豆に流された。自刃」「伊予国(愛媛県)の河野氏を頼り、そこで没した」「北本市石戸宿で没した」などの諸説がある。至る五代がこの館跡に居住し、範円以降は吉見氏を称した。永仁四年(1296年)、範円の孫義春が謀反の罪で殺害され、次いで義春の子義世も謀反の罪で捕らえられ殺されるなど、北条氏の弾圧を受けた。現在の息障院がこの地に移ったのは、室町時代の明徳年間と伝えられるが、今なおこの寺の周囲には、範頼の館建立時に作られた堀の一部等が残っている。