Ka'be bir ara yıkılacak gibi oldu. Bir rivayete göre bir yangına uğraması sebebiyle bu duruma geldi. Bir rivayete göre de şiddetli bir sel baskınından dolayı böyle oldu. Bu olay tercih edilen rivayete göre Resulullah (s.a.s.)'ın peygamberlikle görevlendirilmesinden beş yıl önce olmuştu. Kureyşiler bu binayı yeniden inşa etmekten başka çıkar yol bulamadılar. Böylece Kabe'yi yeniden inşa etmeye başladılar. Fakat onun inşaatına şüpheden uzak kazançtan başkasının, fuhuştan elde edilen gelirin, faiz gelirinin, birisine haksızlık edilerek alınan malın karıştırılmamasını kendileri için şart koştular. Bu şekilde topladıkları mal yetmeyince kuzey yandan altı zirayı dışarıda bıraktılar. Burası bugün Hicr ve Hatim olarak adlandırılmaktadır. Kendi istediklerinden başka kimsenin içine girmemesi için kapısını yer seviyesinden yukarda yaptılar. Duvarlar on beş zira yüksekliğine çıkınca üstüne altı sütun üzerine dayanan bir tavan yaptılar. Resulullah (s.a.s.) da amcası Abbas'la birlikte Ka'be'nin inşasına katılmıştır.
Kabe'nin inşasından sonra Haceri Esved'in yerine konması konusunda ihtilaf çıktı. Bu konuda Resulullah (s.a.s.)'ın amcası Abbas (r.a.) şu bilgileri vermiştir: "Biz inşaatı yapıp Haceri Esved'in yerine kadar geldik. Kimse Haceri Esved'i göremiyordu. Bir de baktık ki taşlarımızın arasında bir adamın başı gibi duruyor. Onun bir yönü tıpkı bir adamın yüzü gibi görünüyordu. Kureyş'ten bir kol: "Onu yerine biz koyacağız" dedi. Diğerleri de: "Biz koyacağız" dediler. Sonunda: "Aranızda birini hakem tayin edin" dediler. "Girişten ilk görünen adam hakem olsun" dediler. Biraz sonra Resulullah (s.a.s.) geldi. Oradakiler: "Yanınıza emin (güvenilir kişi) geldi" dediler. Durumu ona söylediler. O da Hacer'i bir elbise üzerine koydu. Sonra bütün kolları çağırdı ve her biri elbisenin bir yanından tuttu. Sonra yerine kendisi yerleştirdi.
