Ibergo pilis buvo pastatyta 1240 m. Heinrichu von Ibergu, kuris buvo Šv. Galeno kunigaikščio vasalas. 1249 m. po Toggenburgo broliškosios žudynės pilis buvo trumpam užkariauta ir dar kartą 1290 m. antinomiškojo abato Konrado von Gundelfingeno valdžioje Sankt Galene. 1405 m. Appenzellio karų metu buvo sugadintas ir netrukus atstatytas. Per konfliktus, kurie baigėsi Vilmergeno mūšiais
(nuo 1699-1712 m.), 1710 m. pilis buvo apgulta. Po Badeno sutarties 1718 m. jis buvo grąžintas Abate.