Completa la següent frase: Nelson va ser reclutat pels Baltimore Colts a la onzena ronda del Draft de la NFL de 1957. Havent jugat com a quarterback i defensiu a la universitat, els Colts el van convertir en un jugador defensiu. Nelson va començar 12 partits en la seva temporada de novell, amb 5 intercepcions per 29 iardes. La temporada següent, Nelson va registrar 8 intercepcions per 199 iards i 1 touchdown. Els Colts van guanyar el campionat de la NFL en el que va ser el primer partit de mort sobtada de la NFL i des de llavors ha esdevingut àmpliament conegut com "El millor partit mai jugat". Els Colts repetirien en
El 1959 i durant els set anys de la seva carrera amb els Colts, Nelson acumulà 33 intercepcions per 378 iardes i 3 touchdowns. Els Colts van canviar Nelson als New York Giants per a la temporada de 1964, la seva darrera en la NFL.