Ibrahim Rugova syntyi 2. joulukuuta 1944 perheeseen, joka on Kelmendi-albanian klaanin haara. Tuolloin suurin osa Kosovosta yhdistyi Albanian kanssa (jota hallitsi Benito Mussolinin Italia vuodesta 1941 ja myöhemmin saksalaiset vuodesta 1943). Jugoslavian hallinta palautettiin marraskuun 1944 lopussa, kun alue vapautettiin.
Bulgarian armeija ja Jugoslavian partiisaaneja, jotka kukistivat albanialaiset kollaborantit. Hänen isänsä Ukë Rugova ja hänen isoisänsä Rrustë Rugova teloitettiin kesäkuussa 1945. Rugova valmistui peruskoulusta Istokissa ja lukiosta Pećissä vuonna 1967.