The family's London house had been in Millbank, but in 1806 Grosvenor bought a house in Upper Grosvenor Street and greatly extended it; this was to become Grosvenor House.
Das Stadthaus der Familie hatte sich in Millbank befunden, aber 1806 kaufte Robert Grosvenor ein Haus in der heutigen Upper Grosvenor Street und ließ es erheblich vergrößern; dieses Gebäude wurde Grosvenor House.