Escriba unha continuación para este parágrafo - Posiblemente xa no século XI a igrexa fortificada e o castelo de refuxio convertéronse nun castelo de nobreza. No século XI ou XII construíuse unha torre cadrada no lado sur do cume da montaña. Non se sabe nada dos primeiros nobres de Solavers. No século XIII, o castelo foi adquirido polos señores de Aspermont. Controlaban o val inferior de Prättigau desde Solavers e o val superior desde o castelo de Castels en Luzein. A principios do século XIV, a familia Aspermont estaba en dificultades financeiras e en 1338 vendeu o val de Prättigau á familia von Matsch e aos condes de Toggenburg. En 1344 as familias Matsch e Toggenburg dividiron as súas propiedades con Toggenburg recibindo Solavers. O último conde, Federico VII, pode ter nacido en Solavers. A súa morte en 1436, levou á creación da Liga das Dez Xurisdicións, que era unha confederación de dez comunidades da rexión que buscaban a liberdade dos señores estranxeiros. A morte de Federico VII tamén iniciou a guerra de Toggenburg
e unha longa disputa sobre a herdanza do castelo.