Jego matka była tancerką w musicalu na Broadwayu, która po ślubie z jego ojcem przeprowadziła się do Europy; uciekli przed nazistami podczas II wojny światowej i wrócili do Stanów Zjednoczonych. Jego ojciec również był muzykiem, grał na wiolonczelę w symfonii poza Chicago w wolnym czasie (pracując jako naukowiec), a jego siostra jest pianistką klasyczną. Pierwszy agent Graae namawiał go do zmiany nazwiska na "Grey", ale on odmówił, chcąc uhonorować swojego duńskiego ojca. Opisał Victora Borge'a, który przybył do Ameryki na tej samej łodzi co jego ojciec, gdy obaj uciekli przed inwazją na Danię w 1940 roku.
, jako jego główną inspirację. W 2007 roku jego matka przeniosła się z Tulsy do Los Angeles, aby zamieszkać z Graae i jego partnerem. W wywiadzie powiedział, że "życie, jakie znam, rzeczywiście się podniosło... Myślimy o uruchomieniu nowego sitcomu o nazwie "Dwa geje, pies i staruszka". Graae ujawnił się matce w 1983 roku, doświadczenie wspomniane w jego produkcji "The Prince and the Showboy" z Faith Prince.