James Walker naceu en 1764, fillo de James Walker de Innerdovat, Fife e a súa esposa a novelista, Mary Leslie, a terceira filla de Alexander Melville, 5o Conde de Leven. Entrou na armada como aspirante a bordo do canón de 32 canóns o 18 de decembro de 1776, servindo baixo o capitán William Garnier. Foi a Xamaica en xaneiro de 1777, pero volveu ás augas británicas para servir no Mar do Norte e despois no Canal da Mancha coa frota de Sir Charles Hardy durante a crise de invasión en 1779.
- Non. Mentres servía no Canal en 1780, o "Southampton" capturou un corsario francés de 18 canóns en Portland, con 80 homes a bordo. Walker foi enviado para axudar a retirar os prisioneiros, e despois de facelo permaneceu a bordo para axudar coa empacotamento e bombeo, xa que o corsario estaba en perigo de afundirse. A pesar dos seus esforzos, o corsario afundeu de súpeto, e case levou a Walker con el. Estivo na auga dez minutos antes de ser rescatado.