Harrison on syntynyt Orlandossa, Floridassa. Hän on kaksoisveli toiselle olympiamitalistille Calvin Harrisonille. Vuosi ennen ensimmäistä yritystä päästä olympialajoukkueeseen kaksoset asuivat Ford Mustangissa. Calvin oli lukion tähti, joka teki lukion ennätyksen 400 metrin juoksussa, mutta Alvin oli ensimmäinen, joka voitti olympialaisen vuonna 1996. Hän pääsi finaaliin 400 metrin erottelussa, mutta hän voitti ensimmäisen kaistan ja pääsi neljänneksi Michael Johnsonin kultamitalin jälkeen. Johnson loukkaantui, kun hän teki maailmanennätyksen 200 metrin juoksussa. Ilman kultamitaalistajaa ja maailmanennätyksen haltijaa Butch Reynoldsia - amerikkalaiset näyttivät haavoittuvilta 4 x 400 metrin risteyksessä.
- Mitä? Brittiläinen joukkue yritti ottaa etulyöntiaseman, mutta Alvin otti Jamie Baulchin kotiin ja asetti USA:n johtoon. Alvin sai kultamitalin.