Sūnus JAV kariuomenės dvasininko Grovesas vaikystėje gyveno įvairiuose kariuomenės postuose. 1918 m. jis baigė JAV karinę akademiją Vest Pointe, būdamas ketvirtas klasėje, ir buvo paskirtas į JAV armijos inžinierių korpusą. 1929 m. jis išvyko į Nikaragvą kaip ekspedicijos dalis, kad atliktų tyrimą dėl Tarpoceaniškojo Nikaragvos kanalo. Po 1931 m. žemės drebėjimo
, Groves perėmė Managvos vandens tiekimo sistemą, už kurią jam buvo suteiktas Nikaragvos prezidento nuopelnų medalis. 1935 ir 1936 metais jis lankė Fort Leavenworth, Kanzaso, Komando ir Generalinio štabo mokyklą; 1938 ir 1939 metais lankė Armijos karo koledžą, po kurio buvo paskirtas karo departamento Generaliniam štabui. Grovesas tapo žinomas "kaip veikėjas, vairuotojas ir pareigūnė", o 1940 m. tapo specialiu būsto vadovo padėjėju, kuriam buvo pavesta tikrinti statybos vietas ir tikrinti jų eigą. 1941 m. rugpjūčio mėn. jis buvo paskirtas sukurti milžinišką biuro kompleksą karo departamento 40 000 darbuotojų, kuris galiausiai tapo Pentagonu.