創世は定かではないが、建武3年(1336)にこの地の地頭であった毛利時親が築いたといわれている。その後、毛利元就の代に城は拡大強化され、元就の孫・輝元によって広島城が築城されるまで、毛利氏代々の本城として引き継がれていく。標高400mの郡山山頂を本丸とし、郡山全域に270もの曲輪を配置。現在でも一部の石垣や井戸の跡が残る。往時には元就が山頂の本丸に居住し、有力家臣が城内に屋敷を構えていたとされ、典型的な拠点城郭としての役目を担っていた。広島城の完成とともに廃城となるが、毛利氏が中園地方に君臨できたのは、まさにこの城あってこそといえるだろう。尼子氏との戦い毛利氏は古くより尼子氏の家臣であったが、毛利元就は尼子氏の元を離れ、ライバルであった大内氏の家臣となる。尼子氏は大いに怒り吉田郡山城へ3万もの軍勢を差し向けるが、元就は大内氏の助けを得てこれを破り、中国制覇へと突き進んだ。