Byl synem Hans Christopha von Gagerna, státního ministra v Nassau; navštěvoval gymnázie v Kreuznach, Mannheimu a Weilburgu a studoval právo od roku 1826 v Heidelbergu, Utrechtu a Göttingenu. Po pobytu v Paříži obdržel v roce 1829 pozici v kabinetu Viléma I., krále Nizozemska. Na počátku belgické revoluce
(1830) vstoupil do nizozemské armády jako dobrovolník a zúčastnil se války proti Belgii. V roce 1833 odešel do důchodu ze služby v Nizozemsku, oženil se s Franzinou Lambertovou z Haagu a začal studovat historii, aby se přizpůsobil pozici Privatdozent na univerzitě v Bonnu. V letech 1837-40 byl v Bonnu. V roce 1837, ačkoli byl stále protestantem, se přidal k uvězněnému kolínskému arcibiskupovi Droste-Vischeringovi, a tak ztratil přízeň pruské vlády. V roce 1840 byl jmenován nástupcem ministra s titulem Legationsrat vévodou z Nassau.