Hann er fæddur í gyðingafjölskyldu í Úkraínu, sem var þá hluti af Rússneska keisaradæminu. Grossman lærði að vera efnaverkfræðingur við Moskvu-háskóla og fékk viðurnefnið "Vasya-khimik" ("Vasya efnafræðingurinn") vegna dugnaðar síns sem nemandi. Eftir útskrift tók hann vinnu í Stalino (nú Donetsk) í Donets-svæðinu. Á þriðja áratugnum breytti hann um atvinnu. Hann byrjaði að skrifa í fullu starfi og gaf út nokkrar smásögur og nokkrar skáldsögur. Við útbrot síðari heimsstyrjaldarinnar var hann ráðinn sem stríðsfréttamaður hjá blaðinu Rauða hersins "Krasnaya Zvezda"; hann skrifaði frásagnir úr fyrstu hendi um bardaga um Moskvu, Stalingrad, Kursk
, og Berlín. Augnavitnisskýrslur Grossman um útrýmingarbúðir nasista, eftir uppgötvun Treblinka, voru meðal fyrstu skýrslna um dauðabúðir nasista eftir blaðamann.