Pagkahuman sa iyang kaminyoon, si Somerset miadto sa Cape Colony, diin ang iyang amahan mao ang gobernador, ug nagsilbi uban sa Cape Mounted Rifles sa tibuok panahon sa Xhosa Wars
. Sa Marso 25, 1823, siya gihimo nga mayor, ug sa Hulyo 17, 1824, tin-edyer-kolonel. Sa 1834, siya gihimo nga usa ka Knight sa Royal Guelphic Order, ug sa ulahi usa ka Companion sa Bath.