Nelson var valinn af Baltimore Colts í elleftu umferð NFL draftsins árið 1957. Eftir ađ hafa leikið bæði sem sóknarmaður og varnarmaður í háskķlanum gerđu Colts hann ađ varnarmanni. Nelson byrjaði 12 leiki í nýliða tímabilinu sínu, með 5 fyrirhöfn fyrir 29 yards. Á næsta tímabili skoraði Nelson átta fyrirhöfn fyrir 199 yards og 1 touchdown. Colts unnu NFL-meistaratitilinn í fyrsta leik NFL í yfirlengingu með skyndilegum dauða og hefur síðan orðið þekktur sem "The Greatest Game Ever Played". Colts myndu endurtaka í 1959
Og á sjö ára ferli sínum hjá Colts, fékk Nelson 33 skot fyrir 378 yards og 3 touchdowns. Colts skipt Nelson til New York Giants fyrir tímabilið 1964, hans síðasta í NFL.