Setelah invasi AS terhadap Irak pada tahun 2003, Baghdadi dan beberapa rekannya mendirikan Jamaat Jaysh Ahl al-Sunnah wa-l-Jamaah (JJASJ), Angkatan Bersenjata Kelompok Warga Sunni, yang beroperasi dari Samarra, Diyala, dan Baghdad.
Di dalam kelompok ini, Baghdadi menjadi pemimpin dewan hukum.
Dewan Syura Mujahidin
Apa yang kita tahu adalah bahwa setelah perang Irak dimulai, Baghdadi memulai aktivitasnya. Dia ditangkap antara Februari dan Desember 2004 sebagai interniran sipil.
Pasukan pimpinan AS menahannya pada Februari-Desember 2004, tetapi membebaskannya karena tidak dianggap sebagai ancaman tingkat tinggi.
Mengikuti jejak Al Qaeda di Tanah Dua Sungai dan mengubah nama menjadi Majlis Shura al-Mujahidin (Dewan Syura Mujahidin) pada permulaan tahun 2006, pimpinan JJASJ ini menyatakan dukungannya dan melakukan penggabungan diri.
Di dalam struktur baru, Baghdadi bergabung dalam dewan hukum atau komite syariah, yang pada akhir 2006 menguba nama organisasinya menjadi Negara Islam Irak (ISI).
Baghdadi menjadi pengurus umum dewan hukum provinsi di dalam "negara" baru di samping anggota dewan penasihat senior ISI.
Ketika pimpinan ISI, Abu Umar al-Baghdadi, meninggal pada April 2010, Abu Bakr al-Baghdadi menggantikannya.
Tahun berikutnya, pemimpin Al Qaeda, Osama bin Laden, tewas ditembak mati oleh pasukan AS di Pakistan. Baghdadi mengabdikan diri pada kegiatan terorisme-nya yang keji.
Sementara itu, ISI terus melakukan serangkaian serangan teror yang menghancurkan di Irak, yang telah mengalami destabilisasi setelah dilanda Perang Irak.
Awal ISIS
Pada tahun 2013, Baghdadi mengawasi perluasan organisasi tersebut. Ini memisahkan diri dari hubungannya dengan Al Qaeda, yang sebelumnya bertindak sebagai divisi kelompok teror di Irak.
ISI dan diperluas ke Suriah dan menamakan kelompoknya Negara Islam Irak dan Levant (ISIL) atau juga disebut Negara Islam Irak dan Suriah (ISIS).
Juli 2013, ahli ideologi asal Bahrain, Turki al-Binali, yang menggunakan nama Abu Humam Bakr bin Abd al-Aziz al-Athari, menulis biografi Baghdadi.