Handler sa narodil v San Franciscu v Kalifornii ako syn Sandry Handlerovej (rodeného Walpole), bývalého dekana City College v San Franciscu, a Louisa Handlera, účtovníka. Jeho otec bol židovský utečenec z Nemecka a je vzdialeným príbuzným britského spisovateľa Hugha Walpoleho prostredníctvom jeho matky. Má mladšiu sestru, Rebeccu Handlerovú. Handler bol nenásytný čitateľ od detstva a jeho obľúbeným autorom bol William Keepers Maxwell, Jr. Navštevoval základnú školu Commodore Sloat, strednú školu Herbert Hoover a strednú školu Lowell. V roku 1992 absolvoval Wesleyanskú univerzitu.
účtovník