Yayasan Pesantren Islam (YPI) Al Azhar didirikan pada tanggal 7 April 1952 oleh 14 orang tokoh Islam dan pemuka masyarakat di Jakarta, dengan nama Yayasan Pesantren Islam. Salah seorang pencetus gagasan pendirian yayasan ini adalah dr. Syamsuddin, Menteri Sosial RI ketika itu, yang didukung oleh Sjamsuridjal, yang pada waktu itu adalah Walikota Jakarta Raya.
Jajasan Pesantren Islam memperoleh sebidang tanah yang terletak di daerah Kebayoran yang pada waktu itu merupakan daerah satelit dari Ibukota Jakarta. Di atas tanah itulah pada tahun 1953 mulai dilaksanakan pembangunan sebuah masjid besar dan rampung pada tahun 1958, yang kemudian dinamakan Masjid Agung Kebayoran.
Pada tahun 1961 Mahmoud Syaltout, Grand Syekh Al-Azhar Cairo ketika itu, mengunjungi tanah air sebagai tamu negara dan menyempatkan diri singgah di Masjid Agung Kebayoran. Kedatangan beliau disambut oleh sahabatnya Buya Prof. Dr. Hamka, Imam Masjid Agung Kebayoran, yang dua tahun sebelumnya dianugrahi gelar Doctor Honoris Causa (Ustadziyah Fakhriyah) oleh Universitas Al Azhar Cairo. Dalam kesempatan itu Syekh Prof. Dr. Mahmoud Syaltout berkenan memberikan nama Al-Azhar untuk masjid tersebut sehingga nama resminya menjadi Masjid Agung Al Azhar.
Nama “Al-Azhar” dianugerahkan langsung oleh Grand Syekh Al-Azhar Cairo, Prof. Dr. Mahmoud Syaltout, pada tahun 1961.
Seiring dengan perkembangan zaman dan kebutuhan umat, aktifitas di Masjid Agung Al-Azhar terus tumbuh dan berkembang. Awalnya kegiatan ibadah dan dakwah hanya diikuti oleh masyarakat sekitar. Kini jamaah Masjid Agung Al-Azhar datang dari berbagai lapisan umat, tidak saja mereka yang bermukim di kawasan Kebayoran Baru, Jakarta Selatan, bahkan dari luar daerah seperti Tangerang, Bekasi, Depok, Bogor dan lain-lain.
Semaraknya kegiatan pembinaan ummat dan syiar Islam di Masjid Agung Al-Azhar tidak dapat dilepaskan dari peran Buya Prof. Dr. Hamka sebagai Imam Besar di masjid ini. Figur Buya yang ceramah-ceramahnya senantiasa membawa kesejukan telah mengikat perhatian ummat di berbagai pelosok, terutama melalui acara Kuliah Subuh yang disiarkan oleh RRI. Di samping membina berbagai aktifitas pengajian, majelis taklim, dan kursus agama Islam, Buya Prof. Dr. Hamka juga mendorong tumbuh dan berkembangnya sekolah-sekolah Islam Al-Azhar yang berpusat di kompleks Masjid Agung Al-Azhar.
Buya Prof. Dr. Hamka memimpin pelaksanaan ibadah sehari-hari dan pengajian di masjid tersebut sejak pertama kali digunakan pada tahun 1958. Kajian tafsir Al-Quran yang merupakan materi Kuliah Shubuh setiap hari di Masjid Agung Al-Azhar, dan kemudian dimuat secara bersambung pada majalah Gema Islam sejak tahun 1962, akhirnya diterbitkan dengan nama Tafsir Al-Azhar sebanyak 30 juz lengkap yang mendapat sambutan baik dari masyarakat hingga sekarang.
Saat ini terdapat lebih dari 25 kelompok kegiatan yang sehari-hari menyemarakkan kehidupan beragama di kompleks Masjid Agung Al Azhar: majelis taklim, pengajian, kursus, ceramah umum, diskusi, pelayanan kesehatan, bimbingan haji dan umrah, madrasah diniyah, hingga pendidikan formal dari taman kanak-kanak sampai perguruan tinggi. Dari akar inilah sekolah-sekolah Islam Al Azhar di seluruh Indonesia — termasuk SMP Islam Al Azhar 19 — tumbuh dan melayani ummat.