Høgh-Guldberg groeide op in Kopenhagen met rijke, goed verbonden ouders. In 1792 werd hij tweede luitenant à la suite in het Deense leger, in 1794 eerste luitenant à la suite in het 1. In 1798 kapitein, in 1803 stafofficier en in 1806 kreeg hij zijn eigen compagnie. Hij diende tijdens de Engelse Oorlogen.
En werd op 28 januari 1809 bekroond met de Orde van de Dannebrog en werd in hetzelfde jaar gepromoveerd tot majoor en tot bataljonchef. In 1816 werd hij gepromoveerd tot luitenant-kolonel en in 1823 werd hij gepromoveerd tot kolonel en verhuisde naar Aarhus om daar de leiding over de troepen te nemen. Negen jaar later ging hij met pensioen uit het leger, maar bleef in Aarhus.