Milnor s-a născut la 20 februarie 1931 în Orange, New Jersey. Tatăl său a fost J. Willard Milnor, iar mama sa Emily Cox Milnor. Ca student la Universitatea Princeton, a fost numit Putnam Fellow în 1949 și 1950 și a dovedit și teorema Fary<unk>Milnor. A continuat să studieze la Princeton sub îndrumarea lui Ralph Fox și a prezentat disertația sa intitulată "Isotopie a legăturilor", care se referea la grupurile de legături (o generalizare a grupului de noduri clasice) și la structura lor asociată, în 1954. După terminarea doctoratului, a continuat să lucreze la Princeton. A fost profesor la Institutul de Studii Avansate din 1970 până în 1990.
Orange, New Jersey