Metcalfe er fæddur í Atlanta í Georgíu, ólst upp í Chicago og útskrifaðist úr menntaskóla frá Tilden Tech árið 1930. Hann samþykkti stúdentsstyrk til Marquette háskólans í Milwaukee, Wisconsin, og jafnaði metið á 10,3 sekúndum í 100 m í nokkrum tilvikum, auk þess sem hann jafnaði metið á 200 m á 20,6 sekúndum. Hann varð fyrsti maðurinn til að vinna NCAA 200 m titilinn þrisvar í röð. Á Ólympíuleikunum í Los Angeles árið 1932 var hann í nánast dauðhiti við Eddie Tolan, en gullverðlaunin fengu Tolan aðeins eftir lengri rannsókn á ljósmyndinni; báðir skráðu tíma á 10,38 sekúndum í 100 metra hlaupinu. Metcalfe vann einnig bronsverðlaun á þessum leikjum, í 200 metra hlaupi. Hann keppti aftur á Ólympíuleikunum í Berlín árið 1936 og tók aftur silfur í 100 metra hlaupinu, en í þetta skiptið á eftir fjórfaldum gullverðlaunahafi Owens. Ūeir unnu gull í 4x100 metra sendingarhlaupi
Bandaríkin sigruðu 1,1 sekúndu á Ítalíu og Þýskaland vann brons. Metcalfe og Owens (1913-1980) urðu miklir keppinautar á hlaupabrautinni og urðu vinir alla ævi.