Swift gimė Fort Laramie, Vajomingo valstijoje. Jis buvo generolio majoro Ebeno Swift ir Susan Palmer sūnus. 1904 m. baigė Vest Pointo koledžą ir buvo paskirtas kavalerijoje. Filipinų kariuomenėje tarnavo generolio Džono Peršingo adjutantu.
ir tada tarnavo Meksikoje. Pirmasis leitenantas, vadovavęs C būrio, 13-ojo kavalerijos, jis lydėjo pirmuosius leitenantą George S. Pattoną medžiojant Julio Cardenasą, Pancho Vilos asmens sargybos vadą. Pirmojo pasaulinio karo metu jis tarnavo 86-osios divizijos štabo vadovo pavaduotoju.