Pitt s-a născut în Shawnee, Oklahoma, în familia lui William Alvin Pitt, proprietar al unei companii de camioane, și a lui Jane Etta (născută Hillhouse), consilier școlar. Familia sa s-a mutat în curând în Springfield, Missouri, unde a locuit împreună cu frații săi mai mici, Douglas Mitchell (născut în 1966) și Julie Neal (născut în 1969). Născut într-o gospodărie conservatoare, a fost crescut ca baptist sudic, dar a declarat că nu "are o relație bună cu religia" și că "oscilla între agnosticism și ateism". Pitt a descris Springfield ca "Țara lui Mark Twain, țara lui Jesse James", fiind crescut cu "o mulțime de dealuri, o mulțime de lacuri". Pitt a frecventat școala Kickapoo, unde a fost membru al echipei de golf, și a completat echipele de tenis.
Universitatea din Missouri