Rahmah El Yunusiyah mendapatkan pendidikan di sekolah agama milik kakaknya, Diniyah School, yang mengadopsi sistem koedukasi, di mana siswa laki-laki dan perempuan belajar di kelas yang sama. Pada masa itu, sangat sedikit perempuan yang memiliki kesempatan untuk bersekolah.
Di sekolah tersebut, Rahmah menyadari adanya ketimpangan. Diskusi kelas dikuasai oleh laki-laki, baik dari kalangan guru maupun murid yang sebagian besar adalah pria. Murid perempuan merasa kesulitan mendapatkan penjelasan lebih mendalam mengenai fikih yang berkaitan dengan perempuan. Rasa malu juga menghalangi mereka untuk bertanya.
Rahmah pun terinspirasi untuk mendirikan sekolah khusus perempuan agar mereka dapat belajar dengan lebih leluasa dan percaya diri dalam menyampaikan pertanyaan tanpa merasa rendah diri.
Suatu hari, Rahmah mengungkapkan tekadnya kepada kakaknya, “Saya harus memulai, dan saya sadar akan banyak pengorbanan yang dibutuhkan dari diri saya. Jika kakanda bisa, kenapa saya, adiknya, tidak bisa. Jika laki-laki bisa, kenapa perempuan tidak bisa?”
Pada 1 November 1923, di usia 23 tahun, Rahmah mendirikan Madrasah Diniyah li al-Banat atau Diniyah School Putri. Sekolah ini dimulai dengan 71 murid, yang sebagian besar adalah ibu muda.
Rahmah adalah anak bungsu dari lima bersaudara, putri dari pasangan Rafi’ah dan Muhammad Yunus, seorang ulama besar yang pernah belajar di Makkah. Kecintaan Rahmah pada pendidikan dipengaruhi oleh kakaknya, Zaenuddin Labay, yang dikenal sebagai ulama autodidak dengan kemampuan tiga bahasa: Inggris, Arab, dan Belanda. Baginya, Labay adalah seorang inspirator dan mentor.
Selain belajar dari kakaknya, Rahmah juga menimba ilmu dari Haji Rasul, ayah Hamka, di surau bersama tiga sahabatnya, Rasuna Said, Nasinah, dan Upik Japang. Dalam kelompok itu, Rahmah menjadi pemimpin, dan ia pun menjadi salah satu perempuan pertama yang mendalami ilmu agama di tengah keterbatasan.
Dalam pemikirannya, Rahmah percaya bahwa perempuan memiliki peran vital dalam kehidupan sebagai pendidik bagi anak-anak mereka. Oleh karena itu, perlu ada peningkatan kemampuan intelektual dan kepribadian perempuan. Namun, ia masih mempertahankan pandangan bahwa perempuan harus menguasai keterampilan domestik, seperti memasak dan menjahit, yang juga dimasukkan dalam kurikulum sekolahnya.
Saat mendirikan dan mempertahankan sekolah, Rahmah menghadapi banyak tantangan, termasuk gempa besar di Padang Panjang pada 1926 yang meruntuhkan bangunan sekolah. Ia bahkan sempat mencari bantuan hingga ke Malaysia untuk membangun kembali sekolahnya.
Pada 1955, petinggi Universitas Al-Azhar, Mesir, yang berkunjung ke sekolahnya terkagum-kagum dengan konsep pendidikan yang ia gagas. Dua tahun kemudian, Rahmah diundang ke Mesir dan dianugerahi gelar kehormatan “Syehkhah,” menjadi perempuan pertama yang menerima gelar tersebut dari Al-Azhar. Sekolah Rahmah ini bahkan menginspirasi Al-Azhar untuk mendirikan fakultas khusus perempuan pada 1962.
Namun, pada masa kepemimpinan Sukarno, Rahmah kecewa karena menganggap Sukarno terlalu dekat dengan Partai Komunis Indonesia (PKI). Ketika Pemerintahan Revolusioner Republik Indonesia (PRRI) dibentuk pada 1958, Rahmah mendukungnya karena merasa pemerintahan pusat tidak sejalan dengan aspirasi daerah. Ia kemudian menjadi buronan pemerintah dan tertangkap pada 1961.
Pada 1964, Rahmah didiagnosis menderita kanker payudara. Ia meninggal pada 26 Februari 1969.
