Tanah Lot diklaim sebagai karya Dang Hyang Nirartha abad ke-16. Selama perjalanannya di sepanjang pantai selatan, ia melihat pemandangan indah pulau batu dan memutuskan untuk beristirahat di sana. Beberapa nelayan melihatnya, dan membelikan dia hadiah. Nirartha kemudian menghabiskan malam di pulau kecil itu. Kemudian ia berbicara dengan nelayan dan menyuruh mereka untuk membangun sebuah kuil di atas batu, karena ia merasa itu adalah tempat suci untuk menyembah dewa-dewa laut Bali. Dewa utama kuil ini adalah Dewa Baruna atau Bhatara Segara, yang merupakan dewa laut atau kekuatan laut dan hari ini, Nirartha Bali juga disembah di sini.
para nelayan