Þrátt fyrir að hann væri ekki lengur í ráðherraráðuneytinu hélt Orford áfram að hafa persónulegt áhrif á George II og var oft kallaður "ráðherra á bak við gardínuna" fyrir þessa ráðgjöf og áhrif. Árið 1744 tókst honum að tryggja uppsögn Carteret og ráðningu Henry Pelham sem hann taldi sem pólitískt skjólstæðingur. Hann ráðlagði Pelham að nota sæti sitt í Commons til að þjóna sem brú milli konungs- og þingflokksins, rétt eins og Walpole hafði gert. Á þessum tíma gerði Walpole einnig tvær inngripur í stjórn hans.
1744