El 22 de febrer de 1942, després de graduar-se al Royal Military College, Sharma va ser comissionat en el 8è Batalló, 19è Regiment d'Hiderabad, de l'Exèrcit Indi Britànic (més tard va esdevenir el 4è Batalló de l'Exèrcit Indi, Regiment Kumaon). Durant la Segona Guerra Mundial, va veure l'acció contra els japonesos a Birmània durant la Campanya d'Arakan.
- No. En aquell moment va servir sota el comandament del coronel K. S. Thimmayya, que més tard ascendiria al rang de general i es convertiria en Cap de l'Estat Major de l'Exèrcit de 1957 a 1961. Sharma va ser esmentat en despatxos per les seves accions durant la lluita de la campanya d'Arakan.