Tijdens Operatie Bagration, het algemene tegenaanval in Wit-Rusland, coördineerde Vasilevsky de offensieve acties van het 1e Baltische en 3e Wit-Russische front. Toen de Sovjet-troepen de Baltische staten binnenkwamen, nam Vasilevsky de volledige verantwoordelijkheid voor alle Baltische fronten op zich, waarbij hij de 3e Wit-Russische weggooide. Op 29 juli 1944 werd hij tot held van de Sovjet-Unie uitgeroepen voor zijn militaire successen. In februari 1945 werd Vasilevski opnieuw benoemd tot commandant van het 3e Wit-Russische Front om de Oost-Pruisische operatie te leiden, waarbij de functie van generaal-stafchef overging aan Aleksei Antonov. Als frontcommandant leidde Vasilevsky de Oost-Pruisische operatie en organiseerde de aanvallen op Königsberg en Pillau. Hij onderhandelde ook over de overgave van het Königsberger garnizoen met zijn bevelhebber, Otto Lasch. Na de oorlog beweerde Lasch dat Vasilevsky de garanties die tijdens de capitulatie van de stad waren gegeven, niet had gerespecteerd. Vasilevsky beloofde dat Duitse soldaten niet zouden worden geëxecuteerd, dat gevangenen, burgers en gewonden fatsoenlijk zouden worden behandeld en dat alle gevangenen na het einde van de oorlog naar Duitsland zouden terugkeren. In plaats daarvan bleef Lasch 10 jaar in de gevangenis en keerde hij pas in 1955 terug naar Duitsland, net als veel van de Wehrmacht-soldaten en officieren, terwijl de hele Duitse bevolking uit Oost-Pruisen werd verdreven.
Ik weet het. Voor de briljante successen bij Königsberg en in Oost-Pruisen, werd Vasilevski zijn tweede Orde van de Overwinning toegekend.