Mai târziu, James Milne, cunoscut sub numele de James Mill, s-a născut în Northwater Bridge, în parohia Logie Pert, Angus, Scoția, fiul lui James Milne, un cizmar și un mic fermier. Mama sa, Isabel Fenton, dintr-o familie care a suferit în legătură cu revolta Stuart, a decis că el ar trebui să primească o educație de primă clasă și l-a trimis mai întâi la școala parohiei și apoi la Academia Montrose, unde a rămas până la vârsta neobișnuită de șaptesprezece ani și jumătate. Apoi a intrat la Universitatea din Edinburgh, unde s-a remarcat ca un savant grec. În octombrie 1789, a fost hirotonit ca ministru al Bisericii Scoției, dar a avut puțin succes. Potrivit Autobiografiei lui John Stuart Mill, tatăl său, deși "a studiat în cadrul unei cariere scoțienești, a fost instruit de propriul său școțar și a publicat douăzeci de studii ambițioase. Mama sa, Isabel Fenton, dintr-o familie care a suferit în
Moară