Jeho otec, Fridolin (narodený 1868), bol významným priemyselníkom z bulharského mesta Varna a tiež pôsobil ako veľvyslanec Nórska vo Varne (1908<unk>1933). Zwickyho dom vo Varne navrhol a postavil Fridolin Zwicky. Fritzova matka, Franziska Vrček (narodená 1871), bola etnická Češka z Rakúsko-Uhorska. Fritz bol najstarším z troch detí rodiny Zwicky: mal mladšieho brata menom Rudolf a sestru Leonie. Matka Fritzovej zomrela vo Varne v roku 1927 a jeho otec zostal v obchode až do roku 1945, keď sa vrátil do Švajčiarska. Jeho sestra Leonie sa vydala za bulharského leteckého observatória a strávila väčšinu svojho života v bulharskom meste.
Astronómia na Caltech