Het gebouw werd in 1823 voor het eerst door de staat verworven toen de provincie Brabant en de Nederlandse staat het kochten om de Brabantse regering te huisvesten en als officiële residentie van de lokale gouverneur te fungeren. Deze situatie is na de onafhankelijkheid van België voortgezet.
in de jaren 1830. Door de ontwikkeling van de provinciale overheid werd het gebouw echter te klein en vervallen tegen het einde van de jaren 1860. Er waren dus opeenvolgende golven van reconstructie, zij het met een gepland ontwerp voor consistentie. In 1885 begon de aanpassing van de gouverneurswoning en in 1907 werd de kantoorkap vervangen. Georges Hano, de toenmalige architect van het ministerie van Openbare Werken, bouwde een hogere vleugel met directe toegang tot de Rue de Chêne. De verschillende gebouwen waren ook met elkaar verbonden en de gevels met uitzicht op de binnenplaats waren verenigd. De residentie van de gouverneur werd een verdieping verhoogd aan de zijkant die uitkijkt op de binnenplaats en de hoogte werd ook verhoogd op het gebouw dat boven de door Hansotte gereconstrueerde veranda uitsteekt. De nieuwe weg werd door de stad geopend aan het begin van de 20e eeuw en Hano wilde de aanwezigheid van de provinciale regering voelen op deze nieuwe weg die zijn complex nu begrensde. In 1913 begonnen de werken aan een nieuw gebouw, dat in 1930 werd voltooid, in een neo-Louis XVI-stijl met een ceremoniële entreehal en weelderige decoratie.