Nazwa Arnoldstein pochodzi od rzekomego założyciela zamku, rycerza Arnolda, prawdopodobnie "ministerialis" służącego biskupom Bambergu. Po koronacji w 1014 roku cesarz Henryk II przyznał diecezji bamberskiej duże ziemie w księstwie karynckim, które pierwotnie należały do patriarchów z Akwilei. Sam zamek został po raz pierwszy wymieniony około 1085 roku, a biskup Otto z Bamberga założył tu w 1106 roku opactwo benedyktyńskie, aby zabezpieczyć swoje karynckie feudy. Niemniej jednak w 1176 roku mnisi musieli zaakceptować świeckie panowanie nad "Vogt" karynckimi książętami z Sponheim. W połowie XIV wieku ich posiadłości zostały zniszczone przez trzęsienie ziemi w 1348 roku.
i pandemia czarnej śmierci.