Ballard vstúpil do námorníctva v decembri 1776 pod patronátom kapitána ctihodného Johna Levesona-Gowera, syna Johna Levesona-Gowera, 1. grófa Gowera, ktorý bol v tom čase kapitánom lode, ktorá bola súčasťou flotily pod velením admirála Keppla počas leta 1778. V októbri 1779 bol presunutý na loď Captain Mark Robinson a bol na nej prítomný, keď Sir George Rodney 16. januára 1780 porazil španielsku flotilu pri mysu Saint Vincent. V nasledujúcom júli sa "Shrewsbury" opäť pripojila k Rodneyho flotile v Západnej Indii.
29. apríla 1781 pri Martinique a 5. septembra 1781 v akcii pri Chesapeake. Počas bitky padlo hlavné bremeno boja na "Shrewsbury", ktoré malo štrnásť zabitých a päťdesiatdva zranených, vrátane kapitána Robinsona, ktorý stratil nohu. Loď sa neskôr vrátila do Západnej Indie s sirom Samuelom Hoodom a bola s ním v operáciách v St. Kitts v januári 1782, po ktorej musela byť poslaná na Jamajku na opravu. 10. februára 1783, zatiaľ čo bol stále na Jamajke, bol Ballard povýšený na 5. poručíka admirálom Rowleyom a počas desiatich rokov mieru bol aktívne zamestnaný na rôznych lodiach. Keď opäť vypukla vojna, bol prvým poručíkom v flotile, ktorá niesla vlajku kontradmirála Alana Gardnera počas posledných dní mája a 1. júna 1794. Bitka o Glorious First of June získala pre Ballarda jeho hodnosť veliteľa 5. júla 1794 a 1. augusta 1795 bol ďalej povýšený do hodnosti kapitána.