Henry Cavendish syntyi 10. lokakuuta 1731 Nizzassa, jossa hänen perheensä asui tuolloin. Hänen äitinsä oli Lady Anne de Grey, neljäs tytär Henry Grey, 1. Herttua Kentistä, ja hänen isänsä oli lordi Charles Cavendish, kolmas poika William Cavendish, 2. Herttua Devonshire. Perhe seurasi sukupolvensa yli kahdeksan vuosisataa Norman aikoihin ja oli läheisesti yhteydessä moniin aristokraattisiin perheisiin Iso-Britanniassa.
1748 vuotta