François-Léon Clergue lahir di Lavaur pada tanggal 23 Desember 1825 sebagai anak pertama dari tiga bersaudara dari Jean-Louis-François-Frédéric Clergue (1798-1872) dan Rose Amilhau (1797-1867); baptisan dia dirayakan beberapa saat setelah kelahirannya dengan nama "François-Auguste-Léon. Ayahnya - seorang klerik hukum yang taat - mengusungnya kepada Bunda Maria setelah kelahirannya. Ibunya kemudian mendapatkan julukan "La Vendéenne" pada tahun 1830 setelah kerusuhan
saat dia mengambil bendera revolusi dari beberapa remaja yang berparade di sekitar jalanan. Saudara laki-lakinya adalah Ciprien-Célestin dan saudara perempuannya adalah Marie Jeanne Mélanie (1833-1872) yang keduanya meninggal sebelum dia. Saudaranya meninggal di Istanbul saat dalam dinas bersenjata setelah amputasi kaki kanannya.