1882 yılında İstanbul'da doğdu. Mehmed Emin Paşa'nın oğludur. İlköğrenimini İstanbul, Van, Harput ve Mekke'de tamamladıktan sonra, 1896'da İstanbul Fatih Askeri Rüştiyesi'ni, 1899'da Kuleli Askeri İdadisi'ni, 1902'de Harbiye Mektebi'ni ve 1905'te de Erkân-ı Harbiye Mektebi'ni bitirerek yüzbaşı rütbesiyle orduya katıldı.

İki yıllık kıta stajını Manastır'da yaptı. İttihat ve Terakki'nin Manastır örgütünün kurulmasına katıldı. 1907'de kolağası (önyüzbaşı) rütbesi alarak, İstanbul Harbiye Mektebi tabiye öğretmen vekilliğine atandı. İttihat ve Terakki İstanbul Örgütü'nün kurulmasında görev aldı. II. Meşrutiyet'ten sonra Edirne'de 2. Ordu 3. Fırka (tümen) Erkân-ı Harfliği'ne (kurmaylığına) atandı.

31 Mart 1909 Ayaklanması'nda Hareket Ordusu'nda görev aldı. 1910 Arnavutluk Ayaklanması'nın bastırılması harekâtında çalıştı. 14 Nisan 1912'de binbaşılığa yükseldi. Balkan Savaşı'nda Trakya sınır komiseri olarak görev yaptı. 1914'te kaymakam (yarbay) rütbesiyle Birinci Kuvve-i Seferiye Komutanlığı sıfatıyla İran ve Ötesi Harekâtı'nda görevlendirildi. Bir süre sonra İstanbul Kartal'da 14. Fırka Komutanlığı'na atandı ve Çanakkale'ye gönderildi.

Kerevizdere'de Fransızlar'a karşı 3 ay savaştıktan sonra miralaylığa (albay) yükseldi. Buradan, İstanbul'da 1. Ordu Erkân-ı Harbiye Başkanlığı'na, sonra Galiçya'ya gidecek ordunun ve ardından Mareşal von der Goltz'un Erkân-ı Harbiye Başkanlığı'na atanarak Irak'a gitti.

1916'da Kutü'l-Amare'yi kuşatan 18. Kolordu Komutanlığı'na getirildi ve burayı aldıktan sonra Irak'ta İngilizler'le çarpıştı. 1917'de Diyarbakır'daki 2. Kolordu Komutanlığı'na getirildi ve Van, Bitlis, Elaziz (Elazığ) cephelerindeki II. Ordu Komutanlığı'na vekâlet etti.

1918'de Erzincan ve Erzurum'u, Ermeniler'den ve Ruslar'dan geri aldı. Ardından Sarıkamış, Kars ve Gümrü Kalelerini ve Karaköse’yi kurtardı. Aynı yıl mirliva (tümgeneral) oldu.

Mondros Mütarekesi sırasında sadrazam olan Ahmed İzzet Paşa'nın erkân-ı harbiye-i umumiye reisliği (genelkurmay başkanlığı) önerisini kabul etmeyerek, Anadolu'da görev almak istedi. Önce Tekirdağ'daki 14. Kolordu Komutanlığı'na, ardından da Erzurum'daki 15. Kolordu Komutanlığı'na atanmasını sağlayarak, Nisan 1919'da göreve başladı.

Hazırlıkları yapılan Erzurum Kongresi'nin toplanmasında önemli rol oynadı. Kurtuluş Savaşı'nda Edirne Milletvekilliği ve Doğu Cephesi Komutanlığı yaptı.

15 Kasım 1920'de Ermeni Ordusu'nu kesin olarak yendi. Ermeni Hükümeti'yle Ankara Hükümeti adına Gümrü Antlaşması'nı imzaladı. Kars'ın alınmasıyla ferikliğe (korgeneral) yükseldi. Rus Sovyet Sosyalist Federe Cumhuriyeti ve Kafkasya Hükümetleri'yle Kars Antlaşması görüşmelerini yürüttü. Halk Partisi’nden ayrıldı. Kurtuluş Savaşı'nın bitiminden sonra 1. Ordu Müfettişliği'ne atandı.

1923'te İstanbul Milletvekili oldu. 1924'te, TBMM'deki Dörtler Grubu'nu destekledi. Ardından askerlikten ayrılarak, Halk Fırkası'ndan istifa etti. 17 Kasım 1924'te kurulan Terakkiperver Cumhuriyet Fırkası'nın başkanlığına seçildi. Parti, 3 Haziran 1925'te Şeyh Sait Ayaklanması nedeniyle kapatıldı.

Karabekir, Mustafa Kemal Paşa'ya karşı yapılan İzmir Suikasti ile ilgili görülerek bazı partililerle birlikte yargılandıysa da beraat etti. Siyasi hayatına 12 yıllık aradan sonra, 6 Ocak 1939'da İstanbul Milletvekili olarak devam etti. 1946'da TBMM Başkanlığı'na seçildi ve bu görevde iken 26 Ocak 1948'de Ankara'da öldü.