Swift syntyi Fort Laramie'ssa, Wyomingin osavaltiossa, kenraalimajuri Eben Swiftin ja Susan Palmerin poikana. Hän valmistui West Pointista vuonna 1904 ja sai komennon ratsuväkeen. Hän toimi kenraali John J. Pershingin avustajana Filippiineillä.
Sitten hän palveli Meksikossa. Kun hän oli 13. ratsuväen C-joukon komentajana, hän seurasi ylimmäistä luutnanttia George S. Pattonia Pancho Villan henkivartijoiden komentajan Julio Cardenasin metsästykseen. Ensimmäisen maailmansodan aikana hän palveli 86: n divisioonan apulaispäällikönä.