弘安3年(1280)にはすでに天台宗の寺として栄えていたという。中興開基となり曹洞宗の寺として再興。小幡氏が滅ぶと、元和2年(1616)、織田信長の孫、信良が小幡藩主となり、菩提寺を宝積寺と定めた。本堂右手前に立つ菊女観音像は小幡信貞の腰元のお菊の霊を慰めるために建てられたもので「子ども授かりの観音さま」として参拝者が絶えない。病気平癒の身替地蔵、ふれ愛観音も信仰を集めている。小幡七福神(なで布袋尊)、上州観音霊場第19番札所でもある。境内にはサクラ、ヤブツバキ、カイドウ、ツツジ、アジサイなど花木が多く、「花の寺」情緒に包まれ、はるばると訪ねる価値がある寺院といってよい。寺院を象徴する花木は本堂の前で大きく枝を広げるシダレザクラ。樹齢は150年ほどで、高さは13mもあり、形が整っているうえ、濃いピンクの花色が抜群に美しく、参拝客は「花浄土の世界」さながらの光景に時間の経つのを忘れるほどの美観である。平成28年には「ぐんま花の駅」に認定された。