Neviarouski olimpiadoje debiutavo 2004 m. Atėnuose vykusiose vasaros olimpinėse žaidynėse, dalyvaudamas dviem plaukimo varžybose. 100 metrų laisvu stiliumi
, jis iššovė iššūkį septyniems kitiems plaukiojantiems, įskaitant Lietuvos Rolandas Gimbutis, Kalifornijos Golden Bears plaukimo komandos narį. Jis pralenkė graikų Aristeidį Grigoriadį ir užėmė trečią vietą ketvirtadalio skirtumu (0,25), uždirbęs 50,36 sekundės. Po dviejų dienų Neviarouski užėmė antrą vietą už Vengrijos Krisztián Takács, šeštoje vyrų 50 metrų laisvosios stiliaus varžybos varžybose, už vieną šimtinį sekundės (0,01), užfiksavusi 23,13 sekundės.