في 22 فبراير 1942 ، بعد تخرجه من الكلية العسكرية الملكية ، تم تكليف شارما في الكتيبة الثامنة ، فوج حيدر أباد التاسع عشر ، من الجيش الهندي البريطاني (الذي أصبح فيما بعد كتيبة الجيش الهندي الرابعة ، فوج كومون). خلال الحرب العالمية الثانية، شاف العمل ضد اليابانيين في بورما خلال حملة أراكان
. في ذلك الوقت خدم تحت قيادة الكولونيل كيه إس ثيمايا ، الذي ارتفع لاحقًا إلى رتبة الجنرال وأصبح رئيس أركان الجيش من 1957 إلى 1961. تم ذكر شارما في المراسلات لأفعاله خلال القتال في حملة أراكان.