Aylmer gimė Melburne, Kanados rytuose, 7-ojo barono Udolfo Aylmerio ir Marijos Journeaux sūnumi. Aylmeris išsilavinęs Monrealio vidurinėje mokykloje ir Karališkame karinių jūrų pajėgų koledže Portsmute, Anglijoje. Jis tarnavo Kanados milicijoje Fenių puolimų metu.
ir buvo leitenantas Karališkojo jūrų pėstininkų artilerijoje. 1876 m. jis įkūrė Richmondo lauko bateriją ir vadovavo jai iki 1887 m. lapkričio, kai jis išėjo į pensiją su leitenanto pulkininko laipsniu.