Taun 1925-1940, agama Islam ing dhaérah Kotagede tuwuh lan nyebar kanthi cepet amarga ana campur tangan Muhammadiyah kang ngéwangi pembangunan Masjid Perak Kotagede iki. Jaman semana, ing Kotagede mung ana Masjid Gedhé Mataram lan kabèh kagiyatan kaagamaan dilakokaké ing Masjid Gedhé. Nalika jaman semana, ing Kotagede ana akèh kagiyatan kaagamaan, kaya ta pengajian lan kagiyatan kanggo para wong tuwa, wong enom, lan bocah-bocah. Amarga akèhé kagiyatan kaagamaan ing Kotagede lan kagiyatan kaagamaan isih dilakokaké ing Masjid Gedhé Mataram, saben para warga nganakaké kagiyatan kaagamaan ing kana, para warga wajib ijin marang Karaton Ngayogyakarta Hadiningrat. Para warga kang nganakaké kagiyatan kudu ngentèni suwi anggoné ngurus proses ijin marang Karaton. Yèn ana acara kang bebarengan karo acara Karaton, ijin kang diajokaké kuwi mau bisa ditolak lan kagiyatan kaagamaan in Kotagede bisa diundur. Amarga alesan kuwi mau, para warga lan Kyai Amir duwé gagasan kanggo bangun masjid umum kang bisa digunakaké sapa waé, utamané warga Kotagede yèn arep nganakaké kagiyatan supaya kagiyatan kaagaman bisa mlaku kanthi lancar. Masjid Perak mulai dibangun tanggal 1 Sura taun 1940. Masjid iki dibangun amarga ana wong kang dadi perintis, ya iku Kyai Haji Mudzakir, Kyai Haji Amir, lan Kyai Haji Muhsin. Masjid Perak uga tau dadi markas Hizbullah ing jaman revolusi fisik. Nalika jaman semana, Laskar Hizbullah kang dipimpin déning Zubaidi Bajuri tarung lawan saradhadhu Walanda kang jajah Indonésia manèh ngetutaké NICA. Masjid Perak Kotagede dadi saksi nalika Laskar Hizbullah arep lunga ing médan perang. Masjid Perak Kotagede uga tau dadi saksi sajarah Indonésia taun 1950-1960an. Ing taun 1950an-1960an, Masjid Perak Kotagede dadi papan kagiyatan para pemuda Islam kang jaga Indonésia amarga ana konflik PKI. Ing kana, para pemuda diwènèhi ilmu béla diri amarga ing tahun 1950-1960 isih dibutuhaké semangat juang para pemuda kanggo NKRI.