James Walker syntyi vuonna 1764. James Walkerista Innerdovatista Fifeen ja hänen vaimostaan Mary Lesliestä, joka oli Alexander Melvillen, 5. Levenin jarlin, kolmas tytär. Hän liittyi laivastoon amiraalina 32-kannallisella laivalla 18. joulukuuta 1776. Hän palveli kapteeni William Garnierin alaisuudessa. Hän lähti Jamaikalle tammikuussa 1777, mutta palasi Britannian vesille palvelemaan Pohjoismerellä ja sitten Englannin kanaalissa Sir Charles Hardyn laivaston kanssa
Invaasioiden kriisi vuonna 1779. Palvellessaan Englannin kanaalissa vuonna 1780 "Southampton" vangitsi 18-kannallisen ranskalaisen kaapparialuksen Portlandiin, jossa oli 80 miestä. Walker lähetettiin auttamaan vankien poistamisessa, ja sen jälkeen hän pysyi aluksella auttamaan balisoinnissa ja pumppauksessa, koska kaappari oli vaarassa uppoutua. Hänen ponnisteluistaan huolimatta merirosvo uppoutui äkkiä ja melkein vei Walkerin mukanaan. Hän oli vedessä kymmenen minuuttia, ennen kuin hänet pelastettiin.