V roce 1700 se připojil k ruské armádě při útoku na Narvu při vypuknutí Velké severní války, ale švédský král Karel XII. ho vyhnal ze svého postavení v Estonsku. Poté se stal velitelem ruských sil bojujících proti švédským armádám v pobaltských provinciích. Plukovník W. A. Schlippenbach porazil Sheremeteva v bitvě u Rauge v září 1701, ale Rusové obrátili stoly na Schlippenbachovi (nyní generálmajor) v bitvě u Erastfer
v prosinci 1701. Tímto vítězstvím získal Šeremetev titul polního maršála a další ruské vítězství následovalo v bitvě u Hummelshofu v červenci 1702. Útok Šeremetevovy armády na Marienburg (srpen 1702) vedl k tomu, že Martha Skavronskaya přišla na carský dvůr, kde se nakonec stala císařovnou Kateřinou I. (vládla v letech 1725-1727).