Lyster sa narodil v Dubline v Írsku, ako tretí syn Chaworth Lyster, kapitána v armáde, a jeho manželky Anne, "rodenej" Keightly. Jeho strýko bol William Saurin, generálny prokurátor Írska. Rodina Saurinovcov bola čiastočne z francúzskeho hugenotského pôvodu. Ďalším z jeho strýkov bol James Saurin, biskup Dromore. Vo veku 13 rokov bol Lyster po chorobe poslaný na plavbu okolo sveta a v roku 1842 navštívil Sydney a Melbourne. Po návrate do Anglicka odišiel do Indie s úmyslom stať sa pestovateľom, ale klíma mu nevyhovovala, a tak sa opäť vrátil do Anglicka. V roku 1847 bol v Južnej Afrike a bojoval v 7. Cape Frontier War
, a o rok neskôr, bol v Spojených štátoch, kde skúšal svoje šťastie ako herec s malým úspechom.