Entre os séculos XIV e XV a cidade expandiuse, debido á fabricación de téxtiles e unha feira rexional anual ordenada polo rei. Durante este período os alcaldes do castelo foron os Coutinhos, que incluían a Gonçalo Vasques Coutinho, entón tamén alcalde do Castelo de Trancoso, que durante a crise de 1383-1385
, apoiou o pretendente portugués, o Mestre de Aviz. Ao final deste período, D. Francisco Coutinho, 4o Conde de Marialva, ordenou a construción dunha fiestra no medio da torre.