Richardson fæddist í Paris í Texas. Hann gekk inn í bandaríska sjóhersinsháskólann árið 1898 og útskrifaðist í fimmta sæti í 85 ára bekk árið 1902. Fyrstu verkefni hans voru í Asíuflokknum, þar sem hann tók þátt í
Filippseyjum og eftir 1905 í Atlantshafi. Á árunum 1907 til 1909 var Richardson liðsforingi á torpedo bátum og á þriðja deild, Atlantic Torpedo Flotilla. Hann var meðlimur í fyrsta bekk námskeiðs í verkfræđiskólanum í sjóhernum árið 1909.