Wiwitanipun seowon punika kalebet pawiyatan (sekolah) biyasa ingkang dipunyasa nalika jaman Dinasti Goryeo kala punika nalika Raja Gongmin (nyekel tahta saking taun 1351 dumugi taun 1344) ngungsi dhateng Andong amargi prastawa Pamberontakan Sorban Abang. Kala punika Raja Gongmin maringi nama sekolah mau minangka "Pungak Seodang" lan ndhèrèk mbiyantu kanthi nyumbang lemah ugi buku-buku. Piyambakipun rumaos remen awit saking sengkutipun para siswa anggènipun sinau kanthi tememen. Salajengipun, nalika masa Dinasti Joseon, Pungak Seodang dipun-gantos namanipun saéngga dados "Pungak Seowon". Kajawi dipun-gantos namanipun ugi dipunpindhah dhateng Kampung Byeongsan ingkang tentrem ing taun 1572 (taun kaping 5 masa pamaréntahan Raja Seonjo) déning Yu Seong-ryong ("Seo-ae"). Yu ingkang umuripun 31 taun kala punika, ngéwahi nama Pungak Seowon saéngga dados Byeongsan Seowon. Bibar piyambakipun tilar donya, murid-murid seowon mau damel altar ing taun 1614 (taun kaping 6 masa pamaréntahan Gwanghaegun lan ugi maringi nama kuil papan altaripun "Chondeoksa". Jesa kanggé paring pakurmartan dhateng Yu Seong-ryong kanthi ajeg kaleksanan nalika mangsa semi lan mangsa palastra.