ilçe merkezinin hemen üst kısmında yalçın kayalar üzerine kurulmuş bulunan bu kalenin hangi tarihte ve kimler tarafından inşa edildiği hususu kesin olarak bilinmemektedir. Ulaşılması mümkün omayan bir kaya üzerine inşa edildiği için, eski kavimlerin hepsi bu kaleyi almaya ve bu yolla heybetli ve emniyetli bir üsse sahip olmaya çalışmışlardır.
Eski devrin kralları bu kaleye hep "Gayri kaabil-i teshir(alınamaz)" gözu ile bakmışlar. Kaleye Ani, Brana, Gamahha ve Berberi Zemin kalesi adları verildiği görülür. Kalenin ilk kullanılışı ve bu amaçla tabii durumunun elverişli hale getirilişi ilk Çağlar'a dayanır. Bugünkü sur kalıntılarının büyük bir kesimi ise Orta Çağ'a aittir.Kalenin esas ihtişamı, bizzat kurulduğu tabii kütlenin niteliğinden kaynaklanmaktadır. Öyle ki bilehare yapılan taş örme surlar ve sair yükseltici unsurlar olmasa dahi, tabii haliyle bile üzerindeki kişileri dış tehlikelere karşı emniyette tutulabilmesi mümkün gibidir.Yaklaşık 7-8 bin metrekarelik kale alanı, halen dört yanının binlerce sene evvel tabii aşınmalarla bütün cepheleri keskin uçurumlardan oluşan duvarlara sahiptir. Bu aşındırmada batı yönünden akan Fırat ve doğu yönünden gelerek,kuzeyi çevreleyip Fırat ırmağına kuzey-batı köşesinde karışan Tanasur Çay'ının büyük etkisi olmuştur. Özellikle Tanasur Çayi'nın binlerce senelik aşındırma gücü, kale alanını teşkil eden bölümle; bu bölümü batı ve kuzeyden çevreleyen ikinci bir dağ bölümünü,kalenin ikinci bir tabii suru haline getirmiştir.Kale yarlarının bütünü beyaz-gri granit oluşumudur. Kale sahasının dört çevresinin de zamanında surlarla çevrelenmiş olduğu anlaşılıyor.Ancak bugün,hiçbir sağlam burçu kalmayan surlardan daha ziyade, güney-batı, güney kuzey orta kesimlerinde bazı kalıntılar halen mevcuttur.
Kalenin kapı kesimi güneyde olup,ikinci bir ek sur eşliğinde belli bir meyil takip edip, üst tablaya iki kapıdan geçilerek varılmaktadır. Bu kapıların haricinde, doğuda Fırat'a ve batıda Tanasur Çay'ına inen, olağanüstü zamanlarda kullanılan tünel geçitleri hemen hemen eski özelliklerin yitirmişlerdir.Kapının kale üstüne çıkış yerinin hemen yakınında bulunan bir kalıntı, eski bir caminin hatırasını saklamaktadır. Yaklaşık 3 metre civarında olan minarenin ayağı bile zor tanınabilir haldedir ve bu da tamamen haraptır.
Kale sahasında 'Kale kentini' ikiye ayıran bir iç surun varlığına tesadüf edilir. Kalıntılar kuzey-güney yönünde uzamaktadır. Geçmişin çeşitli zamanlarında yapılan kule, mazgal, ev, depo ve çarşı yerlerinden bugüne kalanlar sadece taş yığıntılarıdır.
safevi desteğiyle kozanoğlu beyliğinin toroslar ve çukurova dışında elde ettiği tek kale.
safevilerin şii eksenli bir devlet yerine türkmen eksenli bir devlet olduğu görüşüne dayanak olmuştur ayrıca bu olay.
kozanoğlu'nu temsilen kaleyi zapteden varsakların sünni olması ve hatta kozanoğlu beyliğinin varsaklar ile ortağı olan avşarların da sünni olması ve safevilerin sünni türkmenlere destek vermesi safevilerin şii eksenli bir devlet olmadığı görüşüne destek olmuştur.
ancak kale 2 ile 3 yıl sonra kaybedilmiş ve kozanoğu hakimiyetinden osmanlı hakimiyetine geçmiştir. varsaklara, kozanoğlu'na yardım olarak kuzeyde osmanlı'dan rahatsız olan bir grup sünni çepni türkmende desteğe gelmiştir.
bu 2-3 yıllık süre kozanoğlu beyliğinin ilk kez çukurova ve toroslar dışında toprak kazanmasına sebep olmakla beraber safevi ve çepni türkmenleriyle ilk ve son ilişki kurulduğu dönem olmuştur.
kemah kalesindeki bu bir grup varsak ise iran'a göçerek safevi devlet görevlileri olmuştur.
söylenegelen hikayeye göre iran'a göç eden bu bir grup varsak o dönem iran'daki son varsak yöresi çenaran'a göçmüştür.
