Handler urodził się w San Francisco, w Kalifornii, jako syn Sandry Handler (zmarłej Walpole), emerytowanej dziekanki City College w San Francisco, i Louisa Handlera, księgowego. Jego ojciec był żydowskim uchodźcą z Niemiec i jest odlegle spokrewniony z brytyjskim pisarzem Hugh Walpole poprzez matkę. Ma młodszą siostrę, Rebekę Handler. Handler był żarliwym czytelnikiem od dzieciństwa, a jego ulubionym autorem był William Keepers Maxwell, Jr. Uczęszczał do Commodore Sloat Elementary, Herbert Hoover Middle School i Lowell High School. Ukończył Wesleyan University w 1992 roku. Otrzymał nagrodę Connecticut Student Poet Prize, którą twierdzi, że zarobił, okradając Elizabeth Bishop. Jest absolwentem San Francisco Boys Chorus.
księgowy