François-Léon Clergue naceu en Lavaur o 23 de decembro de 1825 como o primeiro de tres fillos de Jean-Louis-François-Frédéric Clergue (1798-1872) e Rose Amilhau (1797-1867); o seu bautismo foi celebrado momentos despois do seu nacemento nos nomes "François-Auguste-Léon. O seu pai, un devoto escriba, consagrou-o á Virxe María logo do seu nacemento. A súa nai máis tarde gañou o alcume de "La Vendéenne" en 1830 despois dos disturbios
Cando agarrou a bandeira da revolución a uns adolescentes que desfilaban pola rúa. O seu irmán era Ciprien-Célestin e a súa irmá era Marie Jeanne Mélanie (1833-1872) que ambos faleceron antes del. O seu irmán morreu en Istambul mentres estaba no servizo armado despois da amputación da súa perna dereita.