Aylmer er fæddur í Melbourne, Kanada austur, sonur Udolphus Aylmer, 7. barons Aylmer og Mary Journeaux, Aylmer var menntaður í menntaskóla í Montreal og Royal Naval College í Portsmouth, Englandi. Hann var í kanadísku hernum á árásum Fenians.
og var liðsforingi í konunglegu hafnarhersins. Hann skipulagði Richmond Field Battery árið 1876 og hélt stjórn þar til í nóvember 1887, þegar hann hætti í röð liðsforingja.