Mielke, nativ din Berlin şi membru de a doua generaţie al Partidului Comunist din Germania, a fost unul dintre cei doi care au declanşat crimele din 1931 ale căpitanilor de poliţie din Berlin, Paul Anlauf şi Franz Lenck.
- Da, domnule. După ce a aflat că un martor a supraviețuit, Mielke a scăpat arestării fugind în Uniunea Sovietică, unde a fost recrutat de NKVD. El a fost una dintre figurile cheie în decimarea comunistilor germani din Moscova în timpul Marii Curățiri, precum și în persecuția sălbatică a suspecților anti-stalinisti în Brigada Internațională în timpul Războiului Civil Spaniol.