Ljúka eftirfarandi setningu: Á Ólympíuleikunum í Aþenu árið 2004 hélt Alleyne áfram að vera í hópi í tveimur sundgreinum. Hann hlaut FINA B-staðal innritunartíma 51.89 (100 m frjáls) og 1:53.19 (200 m frjáls) frá Pan American leikunum í Santo Domingo, Dóminíska lýðveldið. Í 200 metra frjálsum stíli, Alleyne áskorun sjö öðrum sundmenn á þriðja hita, þar á meðal félaga tvö sinnum Ólympíuleikmenn Joshua Ilika Brenner frá Mexíkó og Giancarlo Zolezzi frá Chile. Hann komst yfir Mahrez Mebarek frá Alsír til að taka þriðja sæti og þrjátíu og fjórða í heild með 0.11 af sekúndu í 1:52.89. Í sinni annarri keppni,
100 m frjáls, Alleyne sett fjörutíu og áttunda almennt á morguns forleikur. Alleyne synti í þriðja hita og jafnaði tíma sinn í 51.89 til að bjarga fimmta sæti yfir Max Schnettler, landsmann Zolezzi, með 0.02 sekúndu.