Kullamaal asus juba muinaseestlaste linnus, selle asupaika kutsutakse seetõttu ka Rohumäe linnamäeks. 1226. aastal, kui Läänemaa oli paavsti  legaadi Modena Wilhelmi poolt moodustatud kirikupeale otse alluva vaheriigi osa, sai Kullamaast paavsti asehalduri residents.