Breyer lair tanggal 15 Agustus 1938 ing San Francisco, California. Wong tuwané ya iku Anne A. (née Roberts) lan Irving Gerald Breyer, salah sawijining kulawarga Yahudi kelas madya. Irving Breyer iku panasékat ukum kanggoné Dhéwan Pawiyatan San Francisco. Stephen Breyer lan adhi lanangé, Charles, iku sawijining hakim dhistrik fédheral, lan karoné iku uga minangka anggota Pramuka Wulung ("Eagle Scout") saka Pasukan San Francisco 14. Simbah buyuté Breyer rémigrasi saka Rumani menyang Amérikah Sarékat, nuli manggon ing Cleveland, ya iku uga dadi papan simbahé Breyer dilairaké. 