Dari taun 1994 hingga 2002, Osim melatih SK Sturm Graz, yang dia bawa menjuarai Liga Ostenrik pada taun 1998 dan 1999, juara Piala Ostenrik pada 1999 dan Piala Super Ostenrik pada 1998 dan 1999. Sturm Graz terus tampil di Liga Champions UEFA dari taun 1998 hingga 2000.