James Walker va néixer el 1764, fill de James Walker d'Innerdovat, Fife i la seva dona la novel·lista, Mary Leslie, la tercera filla d'Alexander Melville, 5è comte de Leven. Va entrar a la marina com a aspirant a bord del canó de 32 el 18 de desembre de 1776, servint sota el comandament del capità William Garnier. Va marxar a Jamaica el gener de 1777, però va tornar a les aigües britàniques per al servei al Mar del Nord i després al Canal de la Mànega amb la flota de Sir Charles Hardy durant la crisi d'invasió el 1779
- No. Mentre servia al Canal el 1780, el "Southampton" va capturar un corsari francès de 18 canons a Portland, amb 80 homes a bord. Walker va ser enviat per ajudar a treure els presoners, i després de fer-ho va romandre a bord per ajudar amb el balenatge i el bombatge, ja que el corsari estava en perill d'enfonsar-se. Tot i els seus esforços, el corsari va enfonsar-se de sobte, gairebé portant Walker amb ella. Va estar a l'aigua durant deu minuts abans de ser rescatat.