Cailliet werd geboren in Dampierre-sur-Moivre, in het noorden van Frankrijk, en studeerde aan het conservatorium van Dijon. In 1915 reisde hij als toerist naar de Verenigde Staten om de Panama-Pacific International Exposition bij te wonen.
, binnenkort terug naar Frankrijk. In september 1920 emigreerde hij naar de Verenigde Staten, zeilend van Le Havre naar New York op de S/S "La Savoie". Zijn bestemming was Philadelphia.