Skribu daŭrigon por tiu paragrafo - Nelson estis redaktita de la Baltimore Colts en la dekunua raŭndo de la NFL-Draft de 1957. Li ludis kiel defendanto kaj kiel defendanto en la universitato, do la Koltoj faris el li defendanton. Nelson komencis 12 ludojn en sia novulo sezono, kun 5 interkaptoj por 29 jardoj. La sekvan sezonon, Nelson registris 8 interkaptojn por 199 jardoj kaj 1 touchdown. La Colts daŭriĝus por gajni la NFL Ĉampionecon en kio estis la unua subita-morta longtempa ludo de la NFL kaj poste fariĝis vaste konata kiel "The Greatest Game Ever Played (La Plej Granda Ludo iam Ludita)". La Koltoj ripetis en 1959
Dum sia sepjara kariero ĉe la Koltoj, Nelson akiris 33 interkaptojn por 378 jardoj kaj 3 touchdowns. La Colts interŝanĝis Nelson al la New York Giants por la sezono 1964, lia lasta en la NFL.