Los marineros europeos, para los cuales el templo era un hito importador, les permitía mantener fuera de los peligrosos sauces de la costa de Orissa (casi habían convertido en un faro), lo llamaban la Pagoda Negra para poder distinguirla de la Pagoda Blanca del Templo de Jaggannath blanqueado de Puri más allá de la costa.
El templo fue llamado la Pagoda Diamante ya que estaba forma de diamante.