Mihai Pelin gimė 1940 m. rugpjūčio pabaigoje okupuotoje Cernăuți
Sovietų Sąjunga prieš du mėnesius. Jo tėvas, Spiridonas, buvo geležinkelio darbuotojas, o motina buvo namų šeimininkė, o jo šeimos dalis buvo lenkų ir vokiečių kilmės. Per Antrąjį pasaulinį karą Pelinas kartu su vokiečių kariuomene praleido laiką su močiute Besarabijoje, o 1944 m. išvyko į Bukareštą.