Larrivée syntyi Gaspé'ssa, Quebecin osavaltiossa Kanadassa. Hän pelasi junioripelaajaa Chicoutimi Sagueneensille 1999-2003. Hänet valitsi NHL: n Montreal Canadiens neljännessä kierroksessa (114th overall) vuonna 2000.
- Mitä? Vuonna 2003 hän allekirjoitti Canadiensin kanssa sopimuksen ja pelasi Canadiensin huippulaitoksessa AHL: n Hamilton Bulldogsissa ja ECHL: n Columbus Cottonmouthsissa. Hän pelasi seuraavana kaudella Long Beach Ice Dogs ECHL ja yhdeksän peliä Hamilton. Vuonna 2005/06 hän pelasi koko kauden Long Beachissa.