Mielke, sem er fæddur í Berlín og annar kynslóð meðlimur í kommúnistaflokki Þýskalands, var einn tveggja manna sem réðu til morðanna á lögregluforingjum í Berlín árið 1931
Paul Anlauf og Franz Lenck. Mielke flúði til Sovétríkjanna þar sem NKVD réð hann til starfa. Hann var einn af lykilmyndum í eyðileggingu þýskra kommúnista í Moskvu á meðan á hreinsuninni mikla stóð sem og í grimmilegum ofsóknum á grunaða andstálínista í alþjóðasveitinni í spænsku borgarastyrjöldinni.