Nascut en una família jueva a Ucraïna, llavors part de l'Imperi Rus, Grossman es va formar com a enginyer químic a la Universitat Estatal de Moscou, guanyant el sobrenom de "Vasya-khimik" ("Vasya el Químic") a causa de la seva diligència com a estudiant. Després de graduar-se va prendre un treball a Stalino (ara Donetsk) a la conca de Donets. En la dècada de 1930 va canviar de carrera. Va començar a escriure a temps complet i va publicar una sèrie de contes i diverses novel·les. En l'esclat de la Segona Guerra Mundial, va ser contractat com a corresponsal de guerra pel diari de l'Exèrcit Roig "Krasnaya Zvezda"; va escriure comptes de primera mà de les batalles de Moscou, Stalingrad, Kursk
, i Berlín. Els informes de testimonis oculars de Grossman d'un camp d'extermini nazi, després del descobriment de Treblinka, van ser entre els primers comptes d'un camp de la mort nazi per un periodista.