Setelah keberhasilan Olimpiade 1896, Olimpiade memasuki periode stagnasi yang mengancam kelangsungan hidupnya. Olimpiade yang diadakan di Paris Exposition pada tahun 1900 dan Louisiana Purchase Exposition di St. Louis pada tahun 1904 gagal menarik banyak partisipasi atau perhatian. Dari 650 atlet di Olimpiade 1904, 580 adalah orang Amerika; pemenang maraton
kemudian didiskualifikasi setelah ditemukan foto dirinya naik mobil selama balapan. Olimpiade bangkit kembali dengan 1906 Intercalated Games (disebut demikian karena mereka adalah Olimpiade kedua yang berlangsung dalam Olimpiade ketiga), yang diadakan di Athena. Permainan ini menarik banyak peserta internasional dan menghasilkan banyak minat publik, menandai awal peningkatan popularitas dan ukuran Olimpiade. Olimpiade 1906 secara resmi diakui oleh IOC pada saat itu (meskipun tidak lagi), dan tidak ada Olimpiade Interkalasi yang diadakan sejak saat itu.