O castelo estivo en feudo por unha longa serie de amos: o Patriarcado de Aquileia, os condes de Gorizia, a cidade de Cividale del Friuli, a República de Venecia e, finalmente, os Habsburgo. Parece ter funcionado como unha fortaleza dedicada en vez de unha residencia, e non tiña poboación civil permanente en tempo de paz, só unha gran guarnición; tamén albergaba unha prisión. A estrutura foi gravemente danada nos terremotos de 1348.
e 1511, pero foi reparado cada vez. Finalmente foi abandonado en 1651 polos seus últimos propietarios, a familia Coronini, por unha nova casa no propio Tolmin, aínda que permaneceu suficientemente intacta en 1713 para desempeñar un papel na gran revolta campesiña dese ano. O castelo está actualmente en ruínas, aínda que algunhas partes foron restauradas.