Rodinná tradícia urobila Jamesa Ordovho nezákonným synom Juraja IV. Spojeného kráľovstva a Márie Fitzherbertovej, ale zdá sa, že bol pravdepodobne synom Ralpha Ord, ktorý bol pokrstený vo Wapping, Middlesex, v roku 1757, synom Johna Ord, faktor (agent) z Berwick-upon-Tweed. Edward Ord bol považovaný za matematického génia a prezident Andrew Jackson ho vymenoval na Vojenskú akadémiu Spojených štátov. Jeho spolubývajúci na West Pointe bol budúci generál William Tecumseh Sherman. Vystudoval v roku 1839 a bol poverený ako druhý poručík v 3. americkom delostrelectve. Bojoval v druhej Seminole vojne.
na Floride a bol povýšený na poručíka.