Изкопани от хълм от пясъчник през трети и втори век пр. н. е., пещерите Удаигири (Хълмът на изгрева) са били жилища за свещеници и монаси, когато джайнизмът е бил държавна религия в кралство Калинга.
Сънрайз Хил никога не е имало свещеници или монаси да отсядат в тях.