Hadlee trouwde met Lilla Monro in 1940. Ze hadden elkaar ontmoet op het schip naar Engeland in 1937. Ze hadden vijf zonen. Hij was erg trots dat drie van zijn vijf zonen Nieuw-Zeeland vertegenwoordigden: Dayle, een Test-snelballer, en Barry, een batsman in het eerste Cricket World Cup in 1975
, werden overschaduwd door Richard, die een toonaangevende allrounder werd: hij nam 431 Test wickets - een wereldrecord op het moment - en 1.490 eerste klas wickets, en eindigde ook met een Test batting gemiddelde van 27,16. Richard werd geridderd voor zijn diensten aan cricket. Een vierde zoon, Martin, speelde clubcricket in Christchurch.