Lyster urodził się w Dublinie w Irlandii jako trzeci syn Chaworth Lyster, kapitana w armii, i jego żony Anne, "née" Keightly. Jego wujkiem był William Saurin, prokurator generalny Irlandii. Rodzina Saurina była częściowo pochodzenia francuskiego. Innym jego wujkiem był James Saurin, biskup Dromore. W wieku 13 lat Lyster, po chorobie, został wysłany w podróż dookoła świata i odwiedził Sydney i Melbourne w 1842 roku. Po powrocie do Anglii udał się do Indii, zamierzając zostać plantatorem, ale klimat nie pasował mu, więc ponownie wrócił do Anglii. W 1847 roku był w Południowej Afryce i walczył w 7. wojnie przylądkowej.
, a rok później, był w Stanach Zjednoczonych, gdzie próbował szczęścia jako aktor z niewielkim sukcesem.