Pichai nació en Madurai, Tamil Nadu, India en una familia tamil. Su madre Lakshmi era una taquígrafa y su padre, Regunatha Pichai era un ingeniero eléctrico en GEC, el conglomerado británico. Su padre también tenía una planta de fabricación que producía componentes eléctricos. Pichai creció en un apartamento de dos habitaciones en Ashok Nagar, Chennai. Pichai terminó la escuela en Jawahar Vidya Vidlaya, una escuela de la Junta Central de Educación Secundaria en Ashok Nagar, Chennai y completó la clase XII de la escuela Vana Vani en el Instituto de Tecnología de Madrás. Obtuvo su título del Instituto de Tecnología de Kharagpur en ingeniería metalúrgica. Actualmente es un distinguido alumno. Tiene una maestría en ciencias de los materiales y la ingeniería de Stanford y un MBA de la Wharton School de la Universidad de Pensilvania, donde nació.
El tamil