Lyster fæddist í Dublin á Írlandi og var þriðji sonur Chaworth Lyster, herforingja, og eiginkonu hans, Anne Keightly. Frændi hans var William Saurin, saksóknari Írlands. Fjölskyldan Saurin var að hluta af frönskum hugenótum. Annar frændi hans var James Saurin, biskup Dromore. Þegar Lyster var 13 ára var hann sendur í ferð um heiminn eftir veikindi og heimsótti Sydney og Melbourne árið 1842. Eftir að hann kom aftur til Englands fór hann til Indlands með það í huga að verða plöntunarmaður, en loftslagið hentaði honum ekki og hann sneri aftur til Englands. Árið 1847 var hann í Suður-Afríku og barðist í 7. landamærabaráttu.
, og ári seinna var hann í Bandaríkjunum þar sem hann reyndi heppni sína sem leikari með litlum árangri.