Tema šoti päritolu vanaisa Matthias oli abiellunud inglannaga, kellega ta asus elama suurde mõisa, mille valdusesse kuulus ka Table`i neem ning mis piirnes mere ja Inglise jõega. Frederick Matthiase isa John abiellus kohaliku kohtuniku tütrega ning  koos oma kolme vennaga hoolitsesid nad mõisa eest.