Thielmann syntyi Dresdenissä. Hän liittyi saksalaiseen ratsuväkeen vuonna 1782.
Rhinan taisteluissa ja Preussin puolella Jenan taistelussa. Jenan katastrofin jälkeen Saksa lähetti Thielmannin suurlähettiläänä Napoleoni I:lle, hänestä tuli hänen innokas ihailijansa ja teki paljon Franco-Sakson liiton aikaansaamiseksi. Thielmann seurasi saksalaisten joukkoja, jotka taistelivat Danzigin piirityksessä ja Friedlandissä.