Sarr werd geboren in Nice en trad op zesjarige leeftijd toe tot de plaatselijke club OGC Nice. Hij bracht de volgende 12 jaar door in de academie van de club voordat hij zijn Ligue 1-debuut maakte voor de club op 14 augustus 2016 tegen Rennes, 17 jaar oud. Hij scoorde het winnende doelpunt voor zijn team in de 60e minuut, op weg naar huis van een vrije trap van Jean-Michaël Seri. Daarmee werd hij de tweede jongste speler die ooit in zijn debuut in de Ligue 1 scoorde, achter de Nigeriaanse international Bartholomew Ogbeche. Na de wedstrijd wijdde Sarr zijn doel aan de slachtoffers van de terreuraanslag in Nice in 2016.
Ik weet het. Voor de kick-off werd een minuut stilte gehouden ter nagedachtenis van de slachtoffers, waarbij zowel Nice als Rennes unieke herdenkingsshirts droegen met de namen van de overledenen. Op 7 november 2016 tekende Sarr zijn eerste professionele contract met Nice en tegen het einde van het seizoen had hij meer dan 30 wedstrijden gespeeld, waarbij de club de competitie op de derde plaats eindigde.