A következő mondatot fejezd be: Nelson-t az 1957-es NFL Draft tizenegyedik fordulójában a Baltimore Colts draftolt. Miután a főiskolán egyaránt játszott, a Coltok védekező játékossá tették. Nelson 12 meccsen kezdte a kezdő szezonját, 5 intercepcióval 29 yardra. A következő szezonban Nelson 8 elkapást szerzett 199 yardra és 1 touchdownra. A Colts megnyerte az NFL bajnokságát az NFL első hirtelen halálos hosszabbítási játékában, és azóta széles körben ismert, mint a "Legnagyobb játék, amit valaha játszottak". A Coltok megismételték
1959-ben és hét évnyi karrierje során a Colts-szal, Nelson összesen 33 elkapást szerzett 378 yardra és 3 touchdownra. A Colts 1964-ben cserélte Nelson-t a New York Giants-re az utolsó szezonra az NFL-ben.