Eftir tímabilið 1960/62 sneri Gustavsson aftur til Svíþjóðar og gekk til liðs við liðið Åtvidabergs FF sem var þá í annarri deild. Í júní 1963 lék hann sinn 57. og síðasta leik fyrir Svíþjóð í undankeppni fyrir Evrópukeppnina 1964.
í Belgrad gegn Júgóslavíu, sem endaði í 0<unk>0 jafntefli. Á klúbbstigi var hann leikmaður-stjóri frá árinu 1964. Hann lauk ferli sínu sem leikmaður árið 1965, en hélt áfram að stýra suður sænska félaginu.