Kuid presidendist vanahärra soovi ette kuhjusid mitmed takistused. Olümpiakomitee liikmed ei osanud otsustada, kas tõsta vanusepiirangut või kaotada see hoopistükkis. Lõpuks ei saanudki  Samaranch ettepaneku läbiminemiseks vajalikku kaht kolmandikku häältearvu. Kui hääletustulemus avalikustati, nägid paljud selles Samaranchi allakäigutrepi algust, 15-aastase presidendikarjääri lõppu ühes Atlanta olümpiaga. Samaranch tõmbus hetkeks kulisside taha allesjäänud kaarte üle vaatama. Hääletamisele järgnenud päeval algas kiireloomuline propagandatöö, mida juhtis raskekahuritest koosnev kolmik Joao Havelange, Primo Nebiolo ja Mario Vasquez Rana. Nimi nime järel lisandus nõudmisele, milles sooviti  vanusepiirangu tõstmist 80. eluaastani. Uuel koosolekul kordas Samaranch oma varasemat ettepanekut, küll veidi konkreetsemas vormis ja pani ette tõsta ROK-i liikmete vanusepiirangut 80. eluaastani. Ettepanekutest hoolimata keeldus Samaranch kinnisest hääletamisest. Selle asemel küsis ta kohalviibinutelt hoopis, et kes on vanusepiirangu tõstmise vastu. Tõusis vaid 12 kätt, ülejäänud 72 liiget olid vait kui sukad. 75-aastane Samaranch oli kindlustanud oma edasiolemist ROK-i juhtimisel veel vähemalt nelja aasta võrra.