Lawrence Joseph Ellison miyos ing Bronx, New York. Ibunipun nitipaken Ellison dhateng bulik lan paklikipun supados dipunopèni ngantos ageng. Ellison ageng ing apartemén ing kutha South Side. Ngantos yuswa kalih welas taun Ellison boten ngertos manawi dipunadhopsi. Bapak angkatipun kicalan bisnis "real estate" saéngga lajeng nyambut damel dados auditos kanggé otoritas perumahan publik. Wiwit alit, panjenenganipun gadhah bakat ing matematika lan ngèlmu pangetahuan. Ellison sekolah matematika ing Universitas Illinois.