Durante la Operación Bagration, la contraofensiva general en Bielorrusia, Vasilevsky coordinó las ofensivas de los Frentes Báltico I y Bielorruso III. Cuando las fuerzas soviéticas entraron en los estados bálticos, Vasilevsky asumió la responsabilidad completa de todos los frentes bálticos, descartando al 3er Ejército de Bielorrusia. El 29 de julio de 1944, fue nombrado Héroe de la Unión Soviética por sus éxitos militares. En febrero de 1945, Vasilevsky fue nuevamente nombrado comandante del 3er Frente de Bielorrusia para dirigir la Operación Prusia Oriental, dejando el cargo de Jefe de Estado Mayor General a Aleksei Antonov. Como comandante del frente, Vasilevsky dirigió la operación de Prusia Oriental y organizó los asaltos a Königsberg y Pillau. También negoció la rendición de la guarnición de Königsberg con su comandante, Otto Lasch. Después de la guerra, Lasch afirmó que Vasilevsky no respetó las garantías hechas durante la capitulación de la ciudad. De hecho, Vasilevsky prometió que los soldados alemanes no serían ejecutados, que los prisioneros, civiles y heridos serían tratados decentemente, y que todos los prisioneros regresarían a Alemania después del final de la guerra. En cambio, Lasch permaneció en prisión durante 10 años y regresó a Alemania solo en 1955, al igual que muchos de los soldados y oficiales de la Wehrmacht, mientras que toda la población alemana estaba
expulsado de Prusia del Este. Por los brillantes éxitos en Königsberg y en Prusia Oriental, Vasilevsky fue galardonado con su segunda Orden de la Victoria.