Í 1751 fæddist Simon McTavish í Stratherrick á Skoska hálendinu, sonur John McTavish (1701<unk>1774), fjármálastjóra frá Garthbeg, sem bar herbergi McTavishs frá Garthbeg. Móðir hans, Mary Fraser (1716-1770) frá Garthmore, var afkomandi í gegnum Simon Fraser frá Dunchea og Frasers frá Foyers, frá ólögmætum syni 1. Lorda Lovat. Faðir McTavish hafði barist sem yfirmaður með Jacobite hersveitir í Bardaga Culloden og Falkirk Muir
, og hann var einn af fáum sem voru sérstaklega nefndir sem að "ekki" fá fyrirgefningu frá George II eftir að Jakobítar voru sigruð.