Mielke adalah seorang warga asli Berlin dan anggota generasi kedua Partai Komunis Jerman, Mielke adalah salah satu dari dua pelaku pembunuhan Kapten Polisi Berlin Paul Anlauf dan Franz Lenck pada tahun 1931
Aku tahu. Setelah mengetahui bahwa seorang saksi telah selamat, Mielke melarikan diri dari penangkapan dengan melarikan diri ke Uni Soviet, di mana NKVD merekrutnya. Dia adalah salah satu tokoh kunci dalam pemusnahan Komunis Jerman Moskow selama Great Purge serta dalam penganiayaan brutal terhadap tersangka anti-Stalin di Brigade Internasional selama Perang Saudara Spanyol.