Ngrampungake ukara ing ngisor iki: Nelson ditarik dening Baltimore Colts ing babak kaping sewelas saka NFL Draft 1957. Sawise main ing quarterback lan pertahanan nalika kuliah, Colts nggawe dheweke dadi pemain pertahanan. Nelson miwiti 12 game ing musim rookie, kanthi 5 interceptions kanggo 29 yard. Ing musim sabanjure, Nelson bakal ngrekam 8 interceptions kanggo 199 yard lan 1 touchdown. The Colts bakal menangaké Kejuaraan NFL ing apa sing dadi game tambahan wektu mati NFL pisanan lan wiwit iku dikenal kanthi jeneng "The Greatest Game Ever Played". The Colts bakal mbaleni ing
Ing taun 1959 lan sajrone karir pitung taun karo Colts, Nelson bakal ngrebut 33 total interceptions kanggo 378 yard lan 3 touchdowns. Colts ngganti Nelson menyang New York Giants kanggo musim 1964, sing pungkasan ing NFL.