Bæði foreldrar Ayayi eru frá Benin. Faðir hans stóð og spilaði körfubolta faglega í Frakklandi og fyrir Beninese landslið. Eldri systir Ayayi, Valériane, hefur spilað fyrir franska kvennalandsliðið, einkum á Ólympíuleikunum 2016.
, og í kvenna National Basketball Association (WNBA). Yngri bróðir hans, Gérald, er atvinnumaður í körfubolta í Frakklandi.