Elze isch urkundlich erschtmols am 5. August 1178 erwähnt worre. Es isch ab em  13. Johrhundert in dr Herre vu Schwarzeberg understande, wo ihm um 1290 d'Stadtrechte verlihe hän. Noochdem Elze lang zum Schwäbische Riichskreis (1512-1805) ghört het, isch es 1805 zum Grossherzogtum Bade kumme. Bis 1819 isch es Sitz vu eme badische Bezirksamt gsi.