Cailliet fæddist í Dampierre-sur-Moivre í norðurhluta Frakklands og stundaði nám á tónlistarskólanum í Dijon. Árið 1915 ferðaðist hann til Bandaríkjanna sem ferðamaður til að mæta á Panama-Pacific International Exposition.
Bráđar aftur til Frakklands. Í september 1920 flutti hann til Bandaríkjanna, sigldi frá Le Havre til New York á S / S "La Savoie". Hann var á leiđ til Filadelfíu.