Mielke oli Berliinissä syntynyt ja toisen sukupolven Saksan kommunistisen puolueen jäsen. Hän oli yksi kahdesta sytytysmiehestä, jotka vuonna 1931 murhasivat Berliinin poliisipäälliköt Paul Anlaufin ja Franz Lenckin.
- Mitä? Kun Mielke sai tietää, että yksi todistaja oli selvinnyt, hän pakeni pidätykseltä Neuvostoliittoon, jossa NKVD värväsi hänet. Hän oli yksi keskeisistä henkilöistä Moskovan saksalaisten kommunistien hävittämisessä Suuren puhdistuksen aikana sekä Espanjan sisällissodan aikana kansainvälisen prikaatin epäiltyjen stalinististen raakalaisten vainoissa.