Jo motina buvo Brodvėjaus muzikalo šokėja, kuri, susituokusi su jo tėvu, persikėlė į Europą; jie pabėgo nuo nacistų Antrojo pasaulinio karo metu ir grįžo į Jungtines Valstijas. Jo tėvas taip pat buvo muzikantas, savo laisvalaikiu (dar dirbdamas mokslininku) grojo violončele simfonijoje Čikagoje, o jo sesuo - klasikinė pianistė. Graae pirmasis agentas paragino jį pakeisti savo pavardę į "Grey", bet jis atsisakė, norėdamas pagerbti savo danų tėvą. Jis apibūdino Victor Borge, kuris atvyko į Ameriką tuo pačiu laive kaip ir jo tėvas, kai abu pabėgo nuo 1940 m. invazijos į Daniją.
, kaip jo pagrindinį įkvėpimą. 2007 m. jo motina persikėlė iš Tulsos į Los Andželą gyventi su Grae ir jo partneriu. Interviu jis sakė, kad "gyvenimas iš tiesų pakilo, kaip aš žinau... Mes galvojame apie naują komediją "Du gėjai, šuo ir senelė". 1983 m. Graae prisipažino savo motinai.