Completează următoarea frază: Nelson a fost selectat de Baltimore Colts în runda a unsprezecea a NFL Draft 1957. După ce a jucat atât în calitate de fundaş, cât şi în defensivă în facultate, Colts l-au făcut jucător defensiv. Nelson a început 12 meciuri în sezonul său de începător, cu 5 interceptări pentru 29 de yarzi. În sezonul următor, Nelson a înregistrat 8 interceptări pentru 199 de yarzi și 1 touchdown. Colții au câștigat campionatul NFL în ceea ce a fost primul meci de prelungire al NFL și a devenit cunoscut ca "Cel mai mare meci jucat vreodată". Colts ar repeta în
În 1959 şi în cariera sa de şapte ani cu Colts, Nelson a adunat 33 de interceptări pentru 378 de yarzi şi 3 touchdown-uri. Colts l-au tranzacționat pe Nelson la New York Giants pentru sezonul 1964, ultimul său sezon în NFL.