Jochen Rindt werd geboren op 18 april 1942 in Mainz, Duitsland, van een Oostenrijkse moeder en een Duitse vader. Zijn moeder was in haar jeugd een succesvolle tennisspeler geweest en studeerde, net als haar vader, rechten. Rindts ouders hadden een specerijenfabriek in Mainz, die hij later erfde. Ze zijn omgekomen bij een bomaanslag in Hamburg.
Tijdens de Tweede Wereldoorlog toen hij 15 maanden oud was, waarna hij werd opgevoed door zijn grootouders in Graz, Oostenrijk. Hoewel zijn grootvader ervoor koos om Rindts Duitse nationaliteit te behouden, reed hij zijn hele carrière onder een Oostenrijkse racevergunning. In een interview beschreef hij zijn afkomst als een "vreselijke mengeling" en toen hem werd gevraagd of hij zich meer Oostenrijkse of Duitse voelde, zei hij dat hij zich "als een Europeaan" voelde. Rindt had een halfbroer, Uwe, via zijn moeder.