Handler naceu en San Francisco, California, fillo de Sandra Handler (née Walpole), decano da City College de San Francisco, e Louis Handler, un contador. O seu pai era un refuxiado xudeu de Alemaña, e está relacionado con Hugh Walpole a través da súa nai. Ten unha irmá máis nova, Rebecca Handler.
contable