Federer on syntynyt Baselissa, Sveitsissä. Hänen isänsä, Robert Federer, on sveitsiläis-saksalainen Berneckista St. Gallenin kantonissa, ja hänen äitinsä, Lynette Federer (syntymäaika Durand), on afrikkalainen Kempton Parkista, Gautengista, Etelä-Afrikassa. Federerillä on yksi sisar, hänen vanhempi sisarensa, Diana, joka on kahden kaksosen äiti. Koska hänen äitinsä on eteläafrikkalainen, hänellä on sekä Sveitsin että Etelä-Afrikan kansalaisuus. Hän kasvoi lähellä Birfelsdenin, Riehenen ja sitten Münchensteinin, lähellä ranskalaisia ja saksalaisia rajoja, ja hän puhuu sveitsiläistä saksaa, normaalisaksaa, englantia ja ranskaa sujuvasti sekä virallista italialaista ja ruotsalaista; sveitsiläinen saksa on hänen äidinkieleensä.
Lynette.