Ben Yedder lair ing Sarcelles, Île-de-France, saka keturunan Tunisia. Ing antaran kanca-kancané nalika isih cilik ya iku Riyad Mahrez. Ben Yedder miwiti kariré ing UJA Alfortville lokal ing Championnat de France Amateur tingkat kaping papat, sadurungé ngalih menyang Toulouse FC saka Ligue 1 ing 2010.