Masjid Gedhé Mataram wiwitané amung langgar kagungané Ki Ageng Pamanahan, nanging nalika Sutawijaya dadi raja kanthi gelar Panembahan Senapati langgar iki banjur didadekaké masjid. Masjid iki kagolong masjid negara kang nomer loro sawisé masjid Demak. Amarga sawisé Kasultanan Demak pindhah menyang Pajang, Sultan Hadiwijaya kang dadi raja durung kober nggawé masjid negara utawa masjid kraton. Merga umuré Kasultanan Pajang kang mung saumur jagung, wahyu keraton banjur pindhah menyang Mataram.