Dengan Sharon, dia memisahkan diri pada tahun 2005 dari partai di mana mereka bernaung.
Olmert kemudian menjadi perdana menteri pada tahun berikutnya, setelah Sharon menderita stroke dan mengalami koma.
Baca: Mantan Perdana Menteri Israel Ariel Sharon Meninggal Dunia
Sebelum mengambil alih posisi sebagai perdana menteri, Olmert diakui sebagai ahli strategi utama di balik banyak langkah Sharon yang berani.
Salah satunya adalah penarikan mundur Israel tahun 2005 dari Gaza, dan juga perpecahan mereka dari Partai Likud.
Majalah Time sangat terkesan sehingga menyebut dia sebagai politisi terbaik di Israel.
Setelah keruntuhan Sharon, Olmert memimpin Kadima untuk meraih kemenangan pada bulan Maret 2006.
Namun, berbagai hal mulai menurun, dengan rencana di Tepi Barat tertahan setelah perang berdarah selama 34 hari melawan Hizbullah.
Perang itu menewaskan lebih dari 1.200 orang di Lebanon, kebanyakan warga sipil, dan 160 di kubu Israel, sebagian besar tentara.
Tidak seperti banyak pendahulunya, Olmert tidak memiliki latar belakang militer, dan penanganan konflik yang diambilnya kerap menuai kecaman.
Meskipun dia menolak pembicaraan damai selama beberapa dekade, Olmert mengalami konversi di akhir karirnya.
Setelah peluncuran kembali perundingan pada bulan November 2007, Olmert bertemu beberapa kali dengan Presiden Palestina Mahmud Abbas, yang membuat konsesi dalam upaya mencapai kesepakatan.
Namun, perundingan tersebut tiba-tiba dihentikan lebih dari setahun kemudian, ketika Israel memulai serangan tiga minggu yang menghancurkan di Gaza.
Olmert juga mengadakan pembicaraan yang dimediasi Turki dengan musuh lama mereka, Suriah, pada Mei 2008. Hal ini terkait pendudukan Israel atas Dataran Tinggi Golan.
Dia mengundurkan diri sebagai perdana menteri pada bulan September 2008, setelah polisi merekomendasikan agar dia didakwa melakukan korupsi.
Namun, dia tetap menjabat sampai Maret 2009, hingga pemimpin Likud Benjamin Netanyahu dilantik sebagai perdana menteri, dan dipegang hingga hari ini.