Tolstaya fæddist í Leningrad í fjölskyldu rithöfunda. Afi hennar, Aleksei Nikolaevich Tolstoy, var brautryðjandi rithöfundur í vísindaskáldskap og sonur Nikolay Alexandrovich Tolstoy (1849-1900) og Alexandru Leontievnu Turgenevu (1854-1906), ættingja
Nikolai Turgenev og rithöfundurinn Ivan Turgenev. Amma Tolstaya af föðurhliði var skáldið Natalia Krandievskaya. Mikhail Lozinsky (1886-1955), afa hennar af móðurhliði, var bókmenntaþýðandi sem var frægur fyrir þýðingu sína á "The Divine Comedy" eftir Dante. Natalia, systir Tolstaya, var líka rithöfundur. Sonur hennar, Artemy Lebedev, er stofnandi og eigandi Art. Lebedev Studio, rússneskt hönnunarfyrirtæki.