Escribe unha continuación para este parágrafo - Nelson foi elixido polos Baltimore Colts na undécima rolda do Draft da NFL de 1957. Tendo xogado tanto como quarterback como defensivo na universidade, os Colts fixérono un xogador defensivo. Nelson comezou 12 partidos na súa tempada de novato, con 5 intercepcións para 29 yardas. Na tempada seguinte, Nelson rexistraría 8 interceptacións para 199 yardas e 1 touchdown. Os Colts gañaron o Campionato da NFL no que foi o primeiro partido de prórroga de morte súbita da NFL e desde entón converteuse no máis coñecido como "O xogo máis grande xogado nunca". Os Colts repetirían en 1959
E durante os seus sete anos de carreira cos Colts, Nelson acumulou 33 interceptacións para 378 yardas e 3 touchdowns. Os Colts cambiaron a Nelson aos New York Giants para a tempada de 1964, a súa última na NFL.