Excavado de una colina de piedra arenisca en los siglos tercero y segundo b.c , las cuevas Udaigiri (Montón del Sol) eran viviendas para sacerdotes y monjes cuando el Jainismo era la religión estatal en el reino de Kalinga.
Sunrise Hill nunca tuvo sacerdotes o monjes que se quedaban dentro de ellos.