Swift syntyi Fort Laramie, Wyoming, poika kenraalimajuri Eben Swift ja Susan Palmer. Hän valmistui West Pointista vuonna 1904 ja sai komennon ratsuväkeen. Hän toimi kenraali John J. Pershingin apulaisjohtajana Filippiineillä ja sitten
Meksikoon. Kun hän oli 13. ratsuväen C-joukon komentajana, hän seurasi ylimmäistä luutnanttia George S. Pattonia Pancho Villan henkivartijoiden komentajan Julio Cardenasin metsästykseen. Ensimmäisen maailmansodan aikana hän palveli 86: n divisioonan apulaispäällikönä.