Jõhvi asula oli olemas ilmselt juba muinasajal, hiljem oli ta kihelkonnakeskuseks. Asula hakkas kasvama siiski alles 18. sajandil seoses postitee rajamisega läbi asula. Sajand hiljem lisandus ka raudtee. 1917. aastal sai Jõhvist alev ja 21 aastat hiljem linn. Jõhvi oli esimene praeguse Ida-Virumaa  tööstusasula, mis sai linnaõigused ja ainus, mis pälvis need veel enne Teist maailmasõda.