Zijn heerschappij werd echter ontkend door de opvolgers van Lodewijk uit het Huis van Habsburg, die verdacht de machtsvergroting van het Huis van Hohenzollern in Silezië bekeken. Na de Slag bij de Witte Berg in 1620
Keizer Ferdinand II van Habsburg greep de gelegenheid aan om keurvorst Georg Willem van Brandenburg de heerschappij over Bytom te ontnemen. Het bleef toen een staatsland binnen de Habsburgse monarchie tot de annexatie door Pruisen in 1742.