1770 m. jo brolis, Cumberlando ir Strathearno kunigaikštis Henrikas, buvo atskleistas kaip svetimautojas, o kitais metais Cumberlando kunigaikštis vedė jauną našlę Aną Horton. Karalius laikė ją netinkama karališka nuotaka: ji buvo iš žemesnės socialinės klasės, o Vokietijos įstatymai draudė bet kokiems porai vaikų iš Hanoverio paveldėjimo. Džordžas primygtinai reikalavo naujo įstatymo, kuris iš esmės draudė karališkosios šeimos nariams teisėtai susituokti be suverenų sutikimo. Vėlesnis įstatymas buvo nepopuliarus, tarp paties Džordžo ministrų, tačiau, kai buvo priimtas Karališkųjų santuokų aktas.
Marija