Johansson aloitti uransa Färjestad BK:ssä Ruotsissa. New York Islanders valitsi hänet 136. sijalla vuonna 1991.
Hän pelasi NHL: ssä Islandersille (1995-96), Pittsburgh Penguinsille (1996-98), Ottawa Senatorsille (1998-99), Tampa Bay Lightningille (1999), Calgary Flamesille (1999-2000), New York Rangersille (2001-02) ja Nashville Predatorsille (2002-04). Vuoden 2000-01 kaudella hän pelasi sveitsiläisen SC Bernin kanssa ja kauden 2003-04 jälkeen hän palasi Sveitsiin, jossa hän allekirjoitti Genève-Servette HC: lle ja pelasi heidän kanssaan kaksi kautta. Vuonna 2006/07 hän palasi Färjestadiin. Vuonna 2007 hän allekirjoitti sopimuksen Venäjän Superliigan joukkueen SKA Saint Petersburgin kanssa. Hän pelasi siellä yhden kauden, mutta hänellä oli sopimus kahdelle vuodelle (hän ei pelannut toisessa kaudella). Johansson allekirjoitti sopimuksen Leksands IF:n kanssa vuonna 2009. Hän pelasi kuitenkin vain yhden pelin Leksandin kanssa ennen kuin ilmoitti lopettavansa pelin loukkaantumisen vuoksi.