Zeman is de zoon van een huisarts en een huisvrouw. Hij is ook verwant aan Čestmír Vycpálek, voormalig Juventus-speler en -trainer, die zijn oom was van moederszijde. In 1968 ging Zeman naar Palermo om hem te bezoeken, maar tegelijkertijd werd zijn land binnengevallen door troepen van het Warschaupact.
, dus besloot hij voor onbepaalde tijd in Italië te blijven.