Tolsztaj Leningrádban született egy írócsaládban. Apja nagyapja, Aleksei Nikolajevics Tolsztoj, egy úttörő sci-fi író volt, és Tolsztoj gróf (1849-1900) és Alexandra Leontievna Turgenjeva (1854-1906) fia volt.
Nikolay Turgenev decembrist és Ivan Turgenev író. Tolsztaja apja nagymamája a költő Natalia Krandievskaya volt. Mikhail Lozinsky (1886-1955), édesanyja nagyapja irodalmi fordító volt, Dante "Isten Komédiája" fordításával híres. Tolsztaya húga, Natalia is író volt. A fia, Artemy Lebedev, az Art alapító-tulajdonosa. Lebedev Studio, egy orosz webdesign cég.