ב-1700 הוא הצטרף לצבא הרוסי בהתקפה על נרווה בתחילת מלחמת הצפון הגדולה, אך המלך קרל ה-12 של שוודיה דחף אותו בחזרה ממקומו באסטוניה. לאחר מכן הוא הפך למפקד הכוחות הרוסים שנלחמו בצבאות השוודים במחוזות הבלטיים. קולונל וו. א. שלפינבאך הביס את שרמטב בראוגה בספטמבר 1701, אך הרוסים הפכו את המצב על שלפינבאך (כיום רב-גנרל) ב- Erastfer
בדצמבר 1701. ניצחון זה זכה לשרמטב בתואר מרשל שדה, וניצחון רוסי נוסף בעקבותיו בקרב הומלשוף ביולי 1702. ההתקפה של צבאו של שרמטב על מרינבורג (אוגוסט 1702) הובילה מרתה סקברונסקאיה לביהמ"ש של הצאר, שם הפכה לבסוף לקיסרית קתרינה הראשונה (שלטה 1725-1727).