Ketika dia mengakhiri kariernya sebagai juru main pada taun 1978, Osim langsung menjadi pelatih untuk klub dimana dia bermain untuk pertama kali, NK Željezničar. Dia melatih tim Sarejevo itu hinggal taun 1986, dan mencapai peringkat kedua di Liga Yugoslavia dua kali, mencapai final Piala yugoslavia sekali, dan semifinal Piala UEFA sekali. Dia juga memegang kalungguhan pelatih tim olimpiade Yugoslavia pada Olimpiade 1984 dan meraih medali perunggu.