Nascut a Melbourne, Canadà Est, fill d'Udolphus Aylmer, 7è Baró Aylmer i Mary Journeaux, Aylmer va ser educat a l'Escola Secundària de Montreal i al Royal Naval College de Portsmouth, Anglaterra. Va servir a la milícia canadenca durant les incursions fenianes.
i era un tinent de la Royal Marine Artillery. Va organitzar la Bateria de Camp de Richmond el 1876 i va tenir el comandament fins al novembre de 1887, quan es va retirar amb el rang de tinent coronel.