Kirjoita jatko tähän kappaleeseen - Nelson valittiin Baltimore Coltsille vuoden 1957 NFL Draftin 11. kierroksessa. Coltit tekivät hänestä puolustuspelaajan. Nelson aloitti 12 peliä tulokkaana. Seuraavana kaudella Nelson sai 8 syöttöä 199 ja 1 touchdownille. Colts voitti NFL-mestaruuden NFL:n ensimmäisessä äkillisen kuoleman lisäaikaa pelatussa pelissä, joka on sittemmin tullut tunnetuksi nimellä "The Greatest Game Ever Played". Coltit toistivat vuonna 1959.
Seitsemän vuoden uransa aikana Nelson sai yhteensä 33 interseptiota 378 ja 3 touchdownia. Colts vaihtoi Nelsonin New York Giantsille kaudeksi 1964, joka oli hänen viimeinen kautensa NFL:ssä.