北側の尾根続きには4重の堀切がある。1重目jは非常にでかい。後は深さ5mほどのものが3本続いている。3郭から西側の段郭に降りていくと、その先に畝状竪堀を見ることができる。吉良城は、吉良氏の居城であった。吉良氏と言えば、足利氏族の三河吉良氏を想像してしまうのだが、こちらの吉良氏は、源希義を祖先とする一族だというので、同じ源氏ながらも出自は違っている。それにしても源希義とはなんとマイナーな・・・・。(今若)、八郎義円(乙若)、九郎義経(牛若)など著名人が多いのだが、五郎希義は、四郎義門と並んで、もっとも知られていない人物であろう。希義は、平治の乱の際に捕らえられて、どういうわけか、土佐に配流となった。その後は土佐の冠者と呼ばれるようになった。治承4年、兄源頼朝が関東で反乱を起こした際に、彼もそれに同調しようとしたのであろうか、警戒された平氏に追討令を出されて、殺害されてしまうことになる。活躍する場を持たなかったゆえに、歴史上無名の人物になってしまったのである。生きていれば義経とともにある程度の活躍ができたのかもしれないが、平氏の勢力に近い西国に配流されていたことが運命の分かれ道となってしまったようだ。吉良氏が本当に希義の子孫であるのかどうかはっきりとしないが、かつて土佐に流された名族の血を引いていると称することが、地域での勢力拡大に役立っていたのかもしれない。吉良氏はこの地域で勢力を伸ばして、戦国期には土佐七守護の1人に数えられるほどの勢力となっていた。天文9年(1540)、この地域での勢力拡大のため朝倉城を築いた本山氏は、次第に吉良氏を圧迫し、奇襲を行って吉良氏を滅亡させた。それ以後は本山氏の持ち城となる。その後、永禄年間になって長宗我部元親が勢力を延ばしてくると、本山氏と長宗我部氏との対立が激しくなる。永禄6年(1563)、長浜の戦いで本山氏を破った長宗我部軍が侵攻し、本山氏はこの地域から撤退する。吉良城も長宗我部氏の勢力下におかれた。長宗我部元親は、弟の親貞に吉良氏の跡を継がせ、吉良城に入城させた。ところが、その子の親実は、元親の怒りを買い、切腹させられることになり吉良氏は再び滅びた。その後の吉良城は長宗我部盛親に与えられたともいうが、ほどなく廃城となったものだろう。