Hingga akhir 1960-an, pemegang gelar master bidang filsafat Islam dari Universitas Al-Azhar, Mesir, ini, dikenal sebagai profesor ilmu agama yang mengajar di Universitas Kabul.
Awal 1970-an ia terjun ke politik setelah bergabung dengan Partai Jamiat-e-Islami. Dua tahun setelah menjadi ketua partai Islam itu pada 1972, ia melarikan diri ke Pakistan karena tak tahan dengan politik di Afganistan yang dikuasai kelompok komunis.
Pasca-invasi Uni Soviet pada 1979, Rabbani memimpin salah satu faksi gerilyawan Mujahidin melawan tentara pendudukan Soviet bersama panglima militernya, Ahmad Shah Massoud.