Ord se narodil v Cumberlandu v Marylandu, jako syn Jamese a Rebeccy Ordových. Rodinná tradice činí Jamese Ordem nelegitimním synem Jiřího IV. a Marie Fitzherbertové, ale zdá se, že byl pravděpodobně synem Ralpha Ord, který byl pokřtěn ve Wapping, Middlesex, v roce 1757, synem Johna Ord, faktoru (agenta) z Berwick-upon-Tweed. Edward Ord byl považován za matematického génia a byl jmenován na Vojenskou akademii Spojených států prezidentem Andrew Jacksonem. Jeho spolubydlící na West Pointu byl budoucí generál William Tecumseh Sherman. Vystudoval v roce 1839 a byl pověřen podporučíkem ve 3. americkém dělostřeleckém regimentu. Bojoval ve druhé Seminole válce
na Floridě a byl povýšen na poručíka.