Esimene ala Ateenas, kus Phelps oma kullaarve avas oli  400 m kompleksujumine. 19-aastane Phelps sai oma esimese kuldmedali suure ülekaaluga. Ta oli rohkem kui 3 sekundiga varem finišis, kui teiseks tulnud koondisekaaslane Erik Vendt. Phelps lõpetas tulemusega 4.08,26, mis oli uus maailmarekord ja juba viies rekordiparandus tema poolt selles ujumisviisis. Oma esimest kulda vastu võttes oli tal raskusi pisarate tagasi hoidmisega. Teisel ja kolmandal võistluspäeval oli selge, et Mark Spitzi rekordi ületamine või kordamine ei ole talle jõukohane. Mõlemal päeval pidi ta leppima pronksmedalitega. Esimese pronksmedali sai ta 4x100 m vabaujumises, kus USA jäi alla Lõuna-Aafrika Vabariigile ja Hollandile. Lõuna-Aafrika Vabariigi võidutulemus oli 3.13,17, mis ületas maailmarekordi poole sekundiga. Teine niinimetatud ebaõnnestumine oli Phelpsil 200 m vabaujumises, kus temas olid paremad Ian Thorpe Austraaliast ja Hollandit esindanud Pieter van den Hoogenband.