Masjid iki diadegaké saka usaha 14 tokoh Masyumi supaya nduwé masjid utama ing kawasan Kebayoran Baru. Saka anjuran Mr Syamsudin, Mantri Sosial RI rikala semana, para tokoh mau banjur ngadegaké Yayasan Pendidikan Islam (YPI), ing tanggal 7 April 1952. Yayasan mau ing tanggal 19 November 1953 wiwit ngadegaké sawijining masjid ing tlatah sing jembaré 43.755 mèter2. Wekasané ing taun 1958, masjid iki rampung dibangun lan diresmèkaké kanthi jeneng Masjid Agung Kebayoran.