称徳天皇の勅願により、常騰を開基として天平神護元年(765)に創建されました。当時は広大な寺域に多数の堂塔が建ち並び、東大寺と共に栄えていましたが、承和13年(846)以後数多の火災にあい、創建当時の建物はほとんど焼失しました。鎌倉時代に叡尊により復興されましたが、戦国時代には再び火災で焼失しました。現在残っている本堂(重文)、愛染堂(重文)、四王堂(重文)などは江戸時代中期に建てられたものです。叡尊が始めた「大茶盛」の寺としても有名です。