Hann er fæddur í Basel í Sviss. Faðir hans, Robert Federer, er Svissneskur Þjóðverji frá Berneck í St. Gallen og móðir hans, Lynette Federer (fæddur Durand), er Afrikaner frá Kempton Park, Gauteng, í Suður-Afríku. Federer hefur eitt systkin, eldri systir sína, Diana, sem er móðir tvíbura. Þar sem móðir hans er Suður-Afríku, hefur hann bæði svissneska og suður-afríska ríkisborgararétt.
Lynette.