A súa nai era Lady Anne de Grey, cuarta filla de Henry Grey, 1o duque de Kent, e o seu pai era Lord Charles Cavendish, o terceiro fillo de William Cavendish, 2o duque de Devonshire. A familia trazou a súa liñaxe ao longo de oito séculos ata os tempos normandos, e estaba estreitamente conectada con moitas familias aristocráticas de Gran Bretaña. A nai de Henry morreu en 1733, tres meses despois do nacemento do seu segundo fillo, Frederick, e pouco antes do segundo aniversario de Henry, deixando a Lord Charles Cavendish para criar aos seus dous fillos. Cavendish era coñecido como "The Honourable Henry Cavendish". Desde os 11 anos asistía á New School de Henry, unha escola privada preto de Londres.
1748