よる開山で、臨済宗建長寺派に属している。開山当初は身代わり観音を祀る観音堂で、「香林坊」と称していたようだ。ご本尊の十一面観音菩薩は文政13年(1830年)の火災で焼失してしまったという。この菩薩については縁起が木版となって流布されており、現在、木版印刷された略縁起が檀家から発見・寄贈されて、香林寺に残っているという。これによると、宝亀7年(776年)弘法大師の御作とされている。現在のご本尊は行基菩薩御作の観音像である。精緻を尽くした構造と堂々たる風格、美観、崇高さなど、五重塔は建築美の極致とされている。この五重塔に至る通路に沿って33観音像が並んでいる。