Hudeybiye Antlaşması sonrasında Müslümanlığı seçene kadar Kureyşlilerin saflarında, islam dinine geçtikten sonra ise islam devletinin emrinde savaşmıştır. Kureyşlilerin Uhud Savaşında yenilmemelerinde kilit rol oynamış, emrindeki süvarilere yaptırdığı manevra ile Müslümanların yenilmesini sağlamıştır. Müslüman olduktan sonra Bizans ve Sasanilere karşı zaferler kazanmıştır. Bunların en dikkat çekeni Yermük nehri kıyısında Bizans ordusunu bozguna uğrattığı savaştır. islami kaynaklara göre katıldığı yüzü aşkın savaşta hiçbir yenilgiye uğramamış nadir komutanlardan biridir.
Hz. Ebu Bekir kendisi için "Analar Halid gibisini doğurmakta acizdir." Demiştir.
Hz. Ömer döneminde ise görevinden azledilmiştir.
Askeri kariyerinin zirvesinde olan Halid bin Velid, çok başarılı askeri kariyerinin bir sonucu olan muazzam popülaritesi nedeniyle, Halife Ömer tarafından görevden alındı. Halife Ömer görevden almasın sebebini daha sonra bir mektupla açıklasa bile, Ömer'in Halid'e kızdığı için görevden aldığına dair genel bir görüş vardır:
“Ben, Halid'i bir öfkesinden, hatasından ya da ihanetinden dolayı azletmedim. Fakat insanlar onu o kadar büyüttüler ki, Allah’ı bırakıp ona tevekkül edeceklerinden korktum. Ben onlara, bütün başarıların ve zaferlerin Allah’tan geldiğini bilmelerini istediğim için, böyle hareket ettim."
Halid, birçok arkadaşı tarafından, bunun için Ömer'e misilleme yapması için kışkırtıldı. Halid, Ömer’e karşı bir Askerî darbe başlatmak için yeterince güçlü olmasına ve gerçekte Râşidîn Halifeliği'ni ele geçirecek kadar güçlü olmasına rağmen, bunun yerine siyasetten uzak durmayı seçti ve dört yıl sonra 642'de Emesa'da öldü. Halife Ömer, Halid'a karşı olan davranışından utandığını hissettiğini ve öldüğünde "Halen hayatta olsaydı Halid'i halefi olarak atayacağını" söyledi söylenir.
----Ölümü----
vefât edeceği sırada kılıcını istedi. kabzasını tutarak şefkatle okşadı. sonra buyurdu ki:
" nice kılıçlar elimde parçalandı. işte bu benim ölümümü görecek olan son kılıcımdır. beni en çok üzen, hayatı hep savaş meydanlarında geçip, yatak yüzü görmemiş olan bu hâlid'in yatakta ölmesidir."
garip olarak şehîd oldular
"resûlullah (asv)'ın hiçbir eshâbı, rahat yatağında ölmedi. ya savaş meydanlarında veya uzak beldelerde dîn-i islâmı yayarken garip olarak şehîd oldu".
"ah hâlid! şehîd olamayan hâlid! harp, benim etimi çiğneyemedi. şehîdlik mertebesi hariç elde etmediğim makam kalmadı. vücûdumda bir karış yer yoktur ki, ya kılıç yarası, ya bir ok yarası veya bir mızrak yarası olmasın."
" ömrü, dîn-i islâmı yaymak için savaşlarda at koşturan kimsenin sonu, böyle yatak üzerinde mi olacak? ölümü her zaman, harp meydanında, atımın üzerinde, düşmana allah için kılıç sallarken şehîd olarak beklerdim. "
bundan sonra, "ölümü, savaştaymışım gibi ayakta karşılayacağım. öldüğüm zaman, atımı, savaşta tehlikelere dalabilen bir yiğide veriniz! atım ve kılıcımdan başka bir şeye sahip olmadan öleceğim."
"mezarımı, bu kılıcımla kazınız! kahramanlar kılıç şakırtısından zevk alır" dedi ve yatağına düşüp kelime-i şehâdet getirerek vefât etti."
