W Królestwie Polskim Wolbrom znajdował się w województwie krakowskim, wzdłuż ruchliwej drogi handlowej z Małopolski do Śląska i Wielkiej Polski. W 1400 roku król Władysław Jagiełło wydał ustawę, która nakazywała wszystkim kupcom podróżującym z Krakowa do Wielkiej Polski przejazd przez Wolbrom. Miasto miało kościół parafialny, szkołę i szpital dla ubogich. Każdego czwartku odbywał się tam targ, którego tradycja trwa do dziś. W 1485 roku większość drewnianych budynków spłonęła w pożarze, po czym król Kazimierz Jagiellończyk przyznał Wolbromowi dodatkowe przywileje. Wolbrom rozkwitał, jak cała Małopolska, aż do połowy XVII wieku. Miasto zostało prawie całkowicie zniszczone przez Szwedów w potopie.
Ponadto starożytna droga handlowa stała się przestarzała i nie była już używana. W 1660 roku miasto liczyło tylko 85 budynków i 500 mieszkańców.