Olukord muutus 16. sajandil kui sütt hakati hõbeda kaevandamise piirkondades suures ulatuses põletama veeteid pidi kohale toodud puidust ning puudus vajadus puusöe ostmiseks söepõletajatelt. Hiljem hakkas  vähenema ka hõbedatootmine ning sellega seoses kaotasid söepõletajad kõik oma põlised eesõigused. Tööta jäänud söepõletajatest said madalapalgalised töölised põllumajanduses või raua tootmisel. Seadustes oli lubatud ainult väheväärtusliku puidu kasutamine söepõletamiseks ning ebaseaduslikku söepõletamist karistati karmilt. Puusöe põletamise tähtsus hakkas veelgi vähenema 19. sajandil seoses kivisöe laialdase kasutuselevõtuga. Tagajärjeks oli söepõletajate äärmine vaesus ja madal sotsiaalne staatus. Toimus muutus  ka söepõletajate kujutamisel kirjanduses ja folklooris, söepõletajaid nähti kui veidraid, räpaseid ja ohtlikke metslasi. Selline kujutlus söepõletajatest on üle kandunud ka tänapäeva.