사이야와 케이틀린, 두 명의 누나
그의 아버지 로버트 S 밀러는 히페리온 북스의 선임부사장 겸 상무 이사였고, 후에 워크맨 퍼블리싱의 출판업자가 되었다. 밀러의 형제로는 사이야와 케이틀린, 두 명의 누나를 두었다. 그의 아버지는 유대인이며, 어머니는 독일계와 네덜란드계 조상을 둔 기독교인 출신이다. 에즈라는 스스로를 "영적으로" 유대인이라고 생각한다. 에즈라는 만 6살 때 언어 장애를 극복하기 위해 오페라 가수 훈련을 시작했다. 그는 메트로폴리탄 오페라와 함께 노래를 불렀으며, 필립 글래스의 오페라 《화이트 레이븐》의 미국 초연에서 공연하였다. 로클랜드 컨트리 데이 스쿨과 허드슨 스쿨에 다녔으며, 영화 《애프터스쿨》 개봉 이후 자퇴하였다.
밀러의 형제는 누가 있지
에즈라 밀러