寺伝によれば、開基は大江山の酒呑童子を退治したことで知られる源頼光四天王のひとり、碓氷荒太郎定光ということである。定光が故郷に錦を飾ったとき、おりしも碓氷峠には毒蛇が出没して人々を悩ませていたが、これを十一面観世音から与えられたという大鎌で退治。里人はこの大鎌を「鎌の明神」として祀り、定光は守り本尊と蛇骨を納めて金剛寺を開基したという伝説が残る。堂宇が点在し、日本離れした伽藍風景が展開するのがまことに印象的。地元の碓氷峠や霧積などから産出した巨石を使って造園した「碓石園」と名づけられている庭園にはシダレザクラ、ミツバツツジ、サツキなどの花木が配置され、四季折々に花模様が楽しめるのが魅力だ。初秋には赤、白、黄の色とりどりのヒガンバナが咲く。