Sajarah Masjid Perak Kotagede ana gegayutané karo Masjid Gedhé Mataram. Masjid Perak lan Masjid Gedhé dadi siji ana ing sakomplèk. Masjid Gedhé Mataram digunakaké kanggo kagiyatan-kagiyatan agama, kaya ta salat. Sadurungé taun 1925, kahanan ing masarakat Kotagede ing jaman semana akèh kang isih kegawa pengaruh saka para kabudayan leluhur, agama Hindu, kapercayan animisme, lan liyané. Nanging, masarakat ing Kotagede mayoritas isih nganut agama Islam. Nalika kuwi, amarga akèh masarakat kang nduwèni kapercayan animisme lan kang percaya marang kakuwatan gaib padha nganakaké ritual ing kana. Amarga kuwi, masarakat liya padha prihatin amarga masjid digunakaké kangggo ritual-ritual liya. Para warga, utamané warga muslim kang gabung ana ing persyarikatan Muhammadiyah ing dhaérah kana dadi duwé rasa prihatin amarga masjid papan ibadah kanggo acara ritual-ritual liya. Anané rasa prihatin kuwi mau, para warga dadi duwé usul supaya fungsi saka masjid kuwi dibenakaké.