Högh-Guldberg ólst upp í Kaupmannahöfn hjá ríkum, vel tengdum foreldrum. Árið 1792 varð hann síðari liðsforingi í danska hernum, árið 1794 fyrsti liðsforingi í 1. 1798 var hann skipstjóri, 1803 var hann starfsmaður og 1806 fékk hann sitt eigið lið. Hann þjónaði í Englandsstríđunum.
Hann var 28. janúar 1809 verðlaunaður með Dannebrog Orðnum og var á sama ári kynntur sem stórliði og gerður að liðstjóra. Árið 1816 var hann kynntur í liðsforingi og árið 1823 var hann kynntur í liðsforingi og fluttur til Aarhus til að taka við stjórn hernaðarins þar. Níu árum seinna hætti hann í hernum en var áfram í Árhús.