Jeho vláda byla však odmítnuta Ludvíkovými nástupci z rodu Habsburků, kteří podezřele sledovali nárůst moci rodu Hohenzollernů na Slezsku. Po bitvě u Bílé hory v roce 1620
Habsburský císař Ferdinand II. využil příležitosti, aby zbavil kurátor Jiřího Williama z Brandenburska vlády nad Bytomem. Poté zůstala státem v rámci habsburské monarchie až do její anexe Pruskem v roce 1742.