François-Léon Clergue fæddist í Lavaur 23. desember 1825 sem fyrsta af þremur börnum Jean-Louis-François-Frédéric Clergue (1798-1872) og Rose Amilhau (1797-1867); skírn hans var fagnað augnablik eftir fæðingu hans í nöfnum "François-Auguste-Léon. Faðir hans - sem var trúaður lögfræðingur - helgaði hann til Blessed Mother eftir fæðingu hans. Mķđir hans fékk síđar kallnafn "La Vendéenne" árið 1830 eftir uppreisn
ūegar hún greip fánann á byltingunni úr höndum unglinga sem voru ađ ganga međ honum um göturnar. Bróðir hans var Ciprien-Célestin og systir hans var Marie Jeanne Mélanie (1833-1872) sem báðir dóu á undan honum. Bróðir hans dó í Istanbúl á meðan hann var í herþjónustu í kjölfar amputation á hægri fæti hans.