Wangunan masjid besar Semarang ingkang sapunika wonten inggih punika wujud yasan kaping sekawan ingkang sampun dipundandosi, ingkang terasanipun saking masjid keadipatian sadèrèngipun. Wangunan masjid punika kaping pisan dipunyasa ing kawasan Mugas (Mugasari), nanging amargi pendhudhukipun boten wonten mila masjid punika dipunpindhah wonten ing laladan Bubakan ingkang langkung padet pendhudhukipun, ngengingi kawasan punika sampun ngrembaka dados kitha pelabuhan. Sesarengan kanthi wontenipun tiyang- tiyang China ingkang ngraman dhateng pamarentahanioun colonial Walanda, lajeng pkawasan perumahan punika kebakar lan mbakar ugi yasan masjid. Awit saking wontenipun pertimbangan lokasi masjid ingkang caket kaliyan kampungipun tiyang-tiyang China, lajeng déning bupati Semarang Suro Hadimenggolo II ingkang jumeneng mrentah wiwit taun 1713 – 1751, masjid punika dipunyasa malih ing kawasan Kanjengan. Masjid énggal ingkang dipunyasa punika rampung ing taun 1760 nalika pamarentahanipun Bupati Suro Hadimenggolo III ing taun 1751 – 1773. Anangin ing taun 1885 kénging musibah malih kanthi kebakar amargi kénging bledhèg. Lajeng masjid punika dipunyasa malih ing lokasi mau wiwit taun 1889 saking biyantuwanipun Bupati Raden Tumenggung Tjokrodipuro, lan rampung ing taun 1890.