Lyster werd geboren in Dublin, Ierland, de derde zoon van Chaworth Lyster, een kapitein in het leger, en zijn vrouw Anne, "née" Keightly. Zijn oom was William Saurin, procureur-generaal van Ierland. De familie Saurin was gedeeltelijk van Franse huguenotische afkomst. Een andere van zijn ooms was James Saurin, bisschop van Dromore. Op de leeftijd van 13, Lyster, na een ziekte, werd gestuurd op een reis rond de wereld en bezocht Sydney en Melbourne in 1842. Na zijn terugkeer naar Engeland, ging hij naar India met de bedoeling om een planter te worden, maar het klimaat niet geschikt voor hem, keerde hij weer terug naar Engeland. In 1847 was hij in Zuid-Afrika en vocht hij in de 7e Kaapse Oorlog.
, en een jaar later, was in de Verenigde Staten waar hij zijn geluk probeerde als acteur met weinig succes.