Gimęs Dampiere-sur-Moivre, šiaurės Prancūzijoje, Cailliet studijavo muzikos konservatorijoje Dijon. 1915 m. jis keliavo į Jungtines Valstijas kaip turistas, kad dalyvautų Panamos-Ramiojo vandenyno tarptautinėje parodoje.
, netrukus grįš į Prancūziją. 1920 m. rugsėjį jis emigravo į Jungtines Valstijas, plaukdamas iš Le Havro į Niujorką laive "La Savoie". Jo paskirties vieta buvo Filadelfija.