Paremale poole jääb nn. väike linnus. 1279. a. piiskop Hermann I poolt antud Haapsalu linna asutamisürikust selgub küll toomkiriku olemasolu, aga ei selgu, kas toomkiriku juures oli juba linnus. Linnust on kirjalikes allikates esmakordselt mainitud 1284. a. nimetusega kindluse kirik castra ecclesia. Võimalik, et kastell-tüüpi linnus, mille lõunapoolse tiiva moodustab toomkirik, ehitati peale kiriku valmimist juba 13. saj. lõpul. 1314 on esmakordselt mainitud väikest linnust castrum minus.