James Milne, més tard conegut com a James Mill, va néixer a Northwater Bridge, a la parròquia de Logie Pert, Angus, Escòcia, el fill de James Milne, un calçador i petit pagès. La seva mare, Isabel Fenton, d'una família que havia patit de connexió amb l'alçament Stuart, va decidir que havia de rebre una educació de primera classe, i el va enviar primer a l'escola parroquial i després a l'Acadèmia de Montrose, on va romandre fins a l'edat inusual de disset anys i mig. Després va entrar a la Universitat d'Edimburg, on es va distingir com a estudiós grec. A l'octubre de 1789, va ser ordenat com a ministre de l'Església d'Escòcia, però va tenir poc èxit. Segons l'autobiografia de John Stuart Mill, el seu pare, tot i que "va ser educat en la carrera escocesa, va ser tutoritzat pels seus propis estudis i va ser publicat per una família amb ambició literària. La seva mare, Isabel Fenton, d'una família que havia patit d'
Molí