I quattro angoli sono costituiti da torri, ciascuna orientata secondo uno dei punti cardinali. Questa struttura ha pianta quadrata, con lati della lunghezza di duecento metri circa. Demolita, come si è detto, nel corso dell'Ottocento, la cinta di fortificazioni più esterna, detta "Ghirlanda", ciò che oggi si vede del castello è la parte più antica, di edificazione trecentesca e quattrocentesca. Le torri Sud e Est, che incorniciano la facciata principale verso il duomo, hanno forma cilindrica, mentre le altre due, che incorniciano la facciata verso il parco, hanno pianta quadrata e sono dette "Falconiera" la Nord e "Castellana" la Ovest.