لستر ولد في دبلن، أيرلندا، وهو الابن الثالث لشاورث لستر، قائد في الجيش، وزوجته آن، "ني" كيتلي. كان عمه ويليام سورين، المدعي العام لأيرلندا. كانت عائلة سورين من أصل هوغنوتي فرنسي. عم آخر كان جيمس سورين، أسقف درومور. في سن 13 ، تم إرسال ليستر ، بعد مرض ، في رحلة حول العالم وزار سيدني وميلبورن في عام 1842. بعد عودته إلى إنجلترا، ذهب إلى الهند عازمًا على أن يصبح مزارعًا، لكن المناخ لم يتناسب معه، عاد مرة أخرى إلى إنجلترا. في سنة 1847، كان في جنوب أفريقيا وقاتل في حرب كيب فرونتير السابعة
، وبعد سنة، كان في الولايات المتحدة حيث جرب حظه كممثل بنجاح ضئيل.