Federeris gimė Bazelio mieste, Šveicarijoje. Jo tėvas Robertas Federeris yra šveicarų vokiečias iš Bernecko Sankt Galeno kantone, o motina Lynette Federer (gimė Durand) yra afrikanė iš Kempton Parko, Gauteng, Pietų Afrikoje. Federeris turi vieną broliuką, vyresnę seserį Dianą, kuri yra dvynukų mama. Kadangi jo motina yra Pietų Afrikos, jis turi tiek Šveicarijos, tiek Pietų Afrikos pilietybę. Jis užaugo netoliese Birfelsden, Riehen, o tada Münchenstein, netoli Prancūzijos ir Vokietijos sienų, ir jis sklandžiai kalba šveicarų vokiečių, standartinės vokiečių, anglų ir prancūzų kalbomis, taip pat valdo italų ir švedų kalbas; šveicarų vokiečių kalba yra jo gimtoji kalba.
Lynette