Dolayısıyla iyi istihbaratçı kesinlik üretmeye değil, belirsizliği disipline etmeye çalışır.
Ve belki de bu seviyedeki en önemli prensip şudur:
Confidence, certainty değildir.
%90 confidence bile %10'luk hata payının stratejik sonuçlarının önemsiz olduğu anlamına gelmez.
Özellikle nükleer caydırıcılık, askeri haberleşme, enerji altyapısı veya devletler arası krizlerde düşük olasılıklı fakat yüksek etkili senaryolar ayrıca ele alınmalıdır.
Nihai sınav: teknik bulguyu devlet kararına çevirebilmek
Üst düzey siber istihbaratçının masasına gelen teknik rapor şöyle olabilir:
“Aktor X'in geçmiş operasyonlarıyla teknik benzerlik gösteren aktivite tespit edildi.”
Kıdemli analist bunu:
“X yaptı.”
şeklinde yazmaz.
Daha olgun ve analitik düşünür.
“Mevcut teknik ve operasyonel kanıtlar X hipotezini desteklemektedir; ancak alternatif Y hipotezi tamamen dışlanamamıştır. Attribution confidence orta-yüksek seviyededir. Değerlendirmeyi değiştirebilecek başlıca kanıt kategorileri şunlardır. Operasyonun mevcut seyri, aktörün gelecekteki hedefleme kapasitesi ve kritik altyapı üzerindeki muhtemel etkileri açısından şu göstergelerin erken uyarı olarak izlenmesi önerilir.”
işte bu cümle teknik rapor ile stratejik istihbarat arasındaki farktır.
Çünkü burada analist:
kanıtı, belirsizliği, alternatif hipotezi, confidence'ı, geleceğe dönük göstergeleri ve karar ihtiyacını aynı üründe birleştirmiştir.
Siber istihbaratın en üst seviyesi malware'i tanımak değildir.
Karşı tarafın kapasitesini, niyetini, aldatma ihtimalini ve gelecekteki davranış uzayını; eksik veriye rağmen karar verilebilir bir çerçeveye dönüştürebilmektir.
En üst düzey analist “ne olduğunu bilen” kişi değildir.
Neyi bildiğini, neyi bilmediğini, neden bildiğini, hangi varsayımın yanlış olabileceğini ve yanlış çıkarsa devletin ne kaybedebileceğini aynı anda görebilen kişidir.
Çünkü stratejik siber istihbaratta nihai hedef saldırıyı açıklamak değil;
devletin saldırı gerçekleşmeden önce doğru soruyu sormasını sağlamaktır.
bir stratejik sonuç doğuruyorsa ayrıca ele alınmalıdır.
confidence ve uncertainty management
en sık yapılan hata:
“high confidence”
yazıp geçmek.
confidence bir süs etiketi değildir.
hangi evidence bunu destekliyor?
kaynak ne kadar güvenilir?
bağımsız corroboration var mı?
alternative hypothesis ne durumda?
collection gap var mı?
hangi varsayımlar sonucu taşıyor?
bunlar açıklanmadan confidence etiketi fazla anlam taşımaz.
ve en kritik ayrım:
confidence ≠ certainty.
%90 confidence, %90 oranında “gerçek” anlamına gelmek zorunda değildir.
confidence, değerlendirmeye duyulan analitik güveni ifade eder.
uncertainty ise değerlendirmeyi çevreleyen bilinmeyenler ve alternatif açıklamalardır.
dolayısıyla iyi analist belirsizliği gizlemez.
belirsizliği yapılandırır.
epistemik disiplin ve analytic tradecraft
işin en üst tarafı burada.
analist kendi düşüncesini de analiz eder.
şunları birbirinden ayırır:
observation
ne gördüm?
evidence
gördüğüm şey hangi hipotezi destekliyor?
inference
bu gözlemden ne çıkarıyorum?
assumption
hangi varsayımı doğru kabul ediyorum?
hypothesis
hangi açıklamayı test ediyorum?
assessment
kanıtların tamamı değerlendirildiğinde ne düşünüyorum?
confidence
buna ne kadar güveniyorum?
uncertainty
hangi bilinmeyenler hâlâ mevcut?
warning
hangi gelecekteki gösterge değerlendirmeyi değiştirebilir?
decision relevance
bunun karar verici açısından anlamı ne?
bütün bunları tek paragrafta birbirine karıştırmak analitik karmaşadır.
ayırmak ise tradecraft'tır.
çünkü istihbaratın en büyük hatalarından biri, gözlemi gerçekle, çıkarımı kanıtla, confidence'ı certainty ile karıştırmaktır.
sonuç olarak siber istihbaratın ileri seviyesi malware'i tanımak, IOC çıkarmak veya ATT&CK'e teknik maplemek değildir.
bunlar işin teknik altyapısıdır.
asıl mesele:
collection'ı intelligence requirement'a bağlamak, kaynakların provenance'ını korumak, deception ihtimalini hesaba katmak, competing hypotheses arasında ayrım yapmak, adversary'nin muhtemel davranışlarını modellemek, precursor activity'den strategic warning üretmek, düşük olasılıklı yüksek etkili senaryoları kaybetmemek ve bütün bunları confidence ile uncertainty'yi birbirine karıştırmadan karar verilebilir bir intelligence product'a dönüştürmektir.
en iyi analist “ne olduğunu bilen” kişi değildir.
neyi gözlemlediğini, bundan ne çıkardığını, hangi varsayımla çıkardığını, alternatif açıklamanın ne olduğunu, hangi kanıtın fikrini değiştireceğini ve yanılması halinde ortaya çıkacak stratejik maliyeti aynı anda görebilen kişidir.
çünkü siber istihbaratın nihai ürünü IOC listesi değildir.
nihai ürün, eksik ve kusurlu bilgi altında daha iyi karar verebilme kapasitesidir.
