Henry Cavendish gimė 1731 m. spalio 10 d. Nicoje, kur tuo metu gyveno jo šeima. Jo motina buvo Lady Anne de Grey, ketvirtoji Henry Grey, pirmojo Kento kunigaikščio, duktė, o jo tėvas buvo Lordas Charles Cavendish, trečias William Cavendish, antrojo Devonshire kunigaikščio sūnus. Šeima per aštuonis šimtmečius buvo kilusi iš Normanų laikų ir buvo glaudžiai susijusi su daugeliu Didžiosios Britanijos aristokratinių šeimų. Henry motina mirė 1733 m., praėjus trims mėnesiams po to, kai gimė jos antrasis sūnus, Frederickas, ir netrukus prieš Henry antrojo gimtadienio, palikusi Lordą Charles Cavendish, kad auklėtų savo du sūnus. Cavendish buvo pavadintas "The Honourable Henry Cavendish". Nuo 11 metų lankė Henry's New School, privačią mokyklą netoli Londono.
1748 m.