Andika mwendelezo wa aya hii - Nelson alichaguliwa na Baltimore Colts katika raundi ya kumi na moja ya 1957 NFL Draft. Baada ya kucheza wote Quarterback na kinga nyuma katika chuo kikuu, Colts alifanya naye mchezaji kinga. Nelson alianza michezo 12 katika msimu wake wa rookie, akiwa na interceptions 5 kwa yadi 29. Msimu uliofuata, Nelson angeandika 8 interceptions kwa yadi 199 na 1 touchdown. Colts wangeendelea kushinda NFL Championship katika kile ambacho kilikuwa mchezo wa kwanza wa muda wa ziada wa kifo cha ghafla cha NFL na tangu wakati huo imekuwa ikijulikana kama "Mchezo Mkubwa Zaidi Uliowahi Kuchezwa". Colts wangeirudia mwaka 1959
na katika kazi yake ya miaka saba pamoja na Colts, Nelson angeweza kukusanya jumla ya mapigano 33 kwa yadi 378 na touchdowns 3. Colts walibadilishana Nelson kwa New York Giants kwa msimu wa 1964, wake wa mwisho katika NFL.