Ühendriikides abiellus Ilves Merry Bullockiga. Luukas Kristjan sündis 1987, Juulia kuus aastat  hiljem. 1984. aastal kolis Ilves koos naisega Saksamaale Münchenisse, kus hakkas tööle Ida-Euroopale saateid tegeva raadio Vaba Euroopa töötajana. Hiljem nimetati ta Eesti osakonna juhatajaks.