Praeguse Jõhvi Keskraamatukogu alguseks võib lugeda 14.dets. 1945.aastal, mil võeti vastu otsus moodustada Jõhvi Linna Raamatukogu. Järgmisel aastal nimetati raamatukogu ümber Jõhvimaa Maakondlikuks Raamatukoguks. Aastate jooksul on raamatukogu kandnud mitmeid nimetusi, kuid olnud alati  seotud maakonnaga (varem rajooniga).    1973.aastal sai raamatukogu seoses raamatukoguvõrgu reorganiseerimisega keskraamatukogu ülesanded ja nimeks Kohtla-Järve Rajooni Keskraamatukogu, külaraamatukogud muutusid haruraamatukogudeks. Raamatukogu alustas kirjanduse tellimist ja töötlemist ka 27 haruraamatukogule, jätkus metoodiline töö.    Koos Eestimaa taasiseseisvumisega toimusid suured muudatused ka raamatukogu elus. Alates 1992.aastast kuulub raamatukogu Jõhvi linna haldusesse ja kannab  nimetust Jõhvi Keskraamatukogu. Külaraamatukogud allutati samuti kohalikele omavalitsustele, kuid keskraamatukogu maakondlikud funktsioonid säilisid. 1995.aastal hakkas lõpuks ometi lahenema raamatukogu ammune ruumide probleem. Raamatukogu jaoks otsustati ümber ehitada endine kino "Rahu" maja. Tulemuseks on igati kaasaegsel tasemel remonditud hoone,mis on kujunenud tõeliseks pereraamatukoguks Jõhvi linnas. 1999.aastast tegutseb raamatukogus Avatud Internetipunkt.