Nelsonas buvo išrinktas Baltimorės "Colts" vienadienio 1957 NFL Draft'o etapo. Kolegijoje jis žaidė ir kaip ataka, ir kaip gynybinis žaidėjas, koltai jį pavertė gynybiniu žaidėju. Nelsonas pradėjo 12 rungtynių savo naujokų sezone, su 5 sulaikymu 29 jardų. Kitą sezoną Nelsonas užfiksavo 8 perėmimus 199 jardams ir 1 tačdaunui. Koltai laimėjo NFL čempionato varžybas per pirmąjį NFL žaidimą su staigiu mirties rezultatu ir nuo to laiko tapo plačiai žinomi kaip "Didžiausias žaidimas, kada nors žaidžiamas". "Colts" pakartojo 1959 metais.
Per savo septynerių metų karjerą su "Colts", Nelsonas surinko 33 gaudymus 378 jardams ir 3 tačdaunams. "Colts" perdavė Nelsoną "New York Giants" 1964 metų sezonui, kuris buvo jo paskutinis NFL sezonas.