Í sumarólympíuleikunum 2004 í Aþenu hélt Alleyne áætlun sinni með því að komast í tvö sundgreinar. Hann hlaut FINA B-staðal innritunartíma 51.89 (100 m frjáls) og 1:53.19 (200 m frjáls) frá Pan American leikunum í Santo Domingo, Dóminíska lýðveldið. Í 200 metra frjálsum stíli, Alleyne áskorun sjö öðrum sundmenn á þriðja hita, þar á meðal félaga tvö sinnum Ólympíuleikmenn Joshua Ilika Brenner frá Mexíkó og Giancarlo Zolezzi frá Chile. Hann komst yfir Mahrez Mebarek frá Alsír til að taka þriðja sæti og þrjátíu og fjórða í heild með 0.11 af sekúndu í 1:52.89. Í annarri keppni sinni, 100 m frjáls
Alleyne var í 48. sæti í undankeppninni. Alleyne synti í þriðja hita og jafnaði tíma sinn í 51.89 til að bjarga fimmta sæti yfir Max Schnettler, landsmann Zolezzi, með 0.02 sekúndu.