في 22 فبراير 1942، بعد تخرجه من الكلية العسكرية الملكية، تم تكليف شرما في الكتيبة الثامنة في فوج حيدرآباد التاسع عشر في الجيش الهندي البريطاني (الذي أصبح فيما بعد الكتيبة الرابعة في الجيش الهندي في فوج كومون). خلال الحرب العالمية الثانية، شهد عمل ضد اليابانيين في بورما خلال حملة أراكان
.. في ذلك الوقت خدم تحت قيادة الكولونيل ك. س. ثيمايا، الذي ارتفع لاحقًا إلى رتبة الجنرال وأصبح رئيس أركان الجيش من 1957 إلى 1961. ذُكِرَ شارما في رسائل عن أفعاله خلال القتال في حملة أراكان.