Nacido o 17 de marzo de 1787 de Charles e Ann Fergusson, Fergusson foi comisariado como alférez en 1801, no 18o (Real Irlandés) Regimiento de Infantería, antes de ser trasladado ao 43o (Monmouthshire) Regimiento de Infantería, adestrando como infantería lixeira baixo Sir John Moore en Shorncliffe. Promovido tenente en 1804, e capitán en 1806, serviu na División Ligera durante a Guerra Peninsular. Fergusson estivo presente nas batallas de Roliça
, Vimeiro, (onde sufriu feridas), e Corunna, onde o seu rexemento formaba parte da reserva. Fergusson acompañou ao 43o na Expedición Walcheren de 1809 antes de volver á Península, experimentando a acción no río Côa, Bussaco, Sabugal, Fuentes de Onoro, así como Ciudad Rodrigo e Badajoz, onde formou parte das partes de asalto do 43o, recibindo feridas ambas as veces. Recibiu unha medalla de ouro pola súa acción en Badajoz. Tras unha boa acción en Salamanca en 1812 foi ascendido a maior sen compra, tomando un posto no 79o de infantería. Trasladouse ao 85o de infantería, onde participou en Bidassoa, Nivelle, Nive e Baiona.