--spoiler--
Basit bir tanım yapmak gerekirse veri madenciliği, büyük ölçekli veriler arasından bilgiye ulaşma, bilgiyi madenleme işidir. Ya da bir anlamda büyük veri yığınları içerisinden gelecekle ilgili tahminde bulunabilmemizi sağlayabilecek bağıntıların bilgisayar programı kullanarak aranmasıdır. Veri madenciliği deyimi yanlış kullanılan bir deyim olabileceğinden buna eş değer başka kullanımlar da literatüre geçmiştir. Veritabanlarında bilgi madenciliği (ing. knowledge mining from databases), bilgi çıkarımı (ing. knowledge extraction), veri ve örüntü analizi (ing. data/pattern analysis), veri arkeolojisi gibi.
Bunların arasındaki en yaygın kullanım Veritabanlarında Bilgi Keşfi (ing. VBK - Knowledge Discovery From Databases - KDD)'dir. Alternatif olarak veri madenciliği aslında bilgi keşfi sürecinin bir parçası şeklinde kabul görmektedir. Bu adımlar:
Veri temizleme (gürültülü ve tutarsız verileri çıkarmak)
Veri bütünleştirme (birçok veri kaynağını birleştirebilmek)
Veri seçme (yapılacak olan analizle ilgili olan verileri belirlemek )
Veri dönüşümü (verinin veri madenciliği tekniğinden kullanılabilecek hale dönüşümünü gerçekleştirmek)
Veri madenciliği (veri örüntülerini yakalayabilmek için akıllı metotları uygulamak)
Örüntü değerlendirme (bâzı ölçümlere göre elde edilmiş bilgiyi temsil eden ilginç örüntüleri tanımlamak)
Bilgi sunumu (mâdenciliği yapılmış olan elde edilmiş bilginin kullanıcıya sunumunu gerçekleştirmek).
Veri madenciliği adımı, kullanıcı ve bilgi tabanıyla etkileşim halindedir. ilginç örüntüler kullanıcıya gösterilir, ve bunun ötesinde istenirse bilgi tabnına da kaydedilebilir. Buna göre, veri madenciliği işlemi, gizli kalmış örüntüler bulunana kadar devam eder.
Bir veri madenciliği sistemi, aşağıdaki temel bileşenlere sahiptir:
Veritabanı, veri ambarı ve diğer depolama teknikleri
Veritabanı ya da Veri Ambarı Sunucusu
Bilgi Tabanı
Veri Madenciliği Motoru
Örüntü Değerlendirme
Kullanıcı Arayüzü
Veri madenciliği, eldeki verilerden üstü kapalı, çok net olmayan, önceden bilinmeyen ancak potansiyel olarak kullanışlı bilginin çıkarılmasıdır. Bu da; kümeleme, veri özetleme, değişikliklerin analizi, sapmaların tespiti gibi belirli sayıda teknik yaklaşımları içerir.
Başka bir deyişle, veri madenciliği, verilerin içerisindeki desenlerin, ilişkilerin, değişimlerin, düzensizliklerin, kuralların ve istatistiksel olarak önemli olan yapıların yarı otomatik olarak keşfedilmesidir.
Temel olarak veri madenciliği, veri setleri arasındaki desenlerin ya da düzenin, verinin analizi ve yazılım tekniklerinin kullanılmasıyla ilgilidir. Veriler arasındaki ilişkiyi, kuralları ve özellikleri belirlemekten bilgisayar sorumludur. Amaç, daha önceden fark edilmemiş veri desenlerini tespit edebilmektir.
Veri madenciliğini istatistiksel bir yöntemler serisi olarak görmek mümkün olabilir. Ancak veri madenciliği, geleneksel istatistikten birkaç yönde farklılık gösterir. Veri madenciliğinde amaç, kolaylıkla mantıksal kurallara ya da görsel sunumlara çevrilebilecek nitel modellerin çıkarılmasıdır. Bu bağlamda, veri madenciliği insan merkezlidir ve bazen insan-bilgisayar arayüzü birleştirilir.
Veri madenciliği sahası, istatistik, makine bilgisi, veritabanları ve yüksek performanslı işlem gibi temelleri de içerir.
Veri madenciliği konusunda bahsi geçen geniş verideki geniş kelimesi, tek bir iş istasyonunun belleğine sığamayacak kadar büyük veri kümelerini ifade etmektedir. Yüksek hacimli veri ise, tek bir iş istasyonundaki ya da bir grup iş istasyonundaki disklere sığamayacak kadar fazla veri anlamındadır. Dağıtık veri ise, farklı coğrafi konumlarda bulunan verileri anlatır.
ulan hep mi kadın programı izleyenler var sözlükte. uplayın şu başlığı da bilgi kültürü artsın sözlüğün. ekşiye göndereceksiniz illahi adamı.
yazar olduğum sözlükten faydalanmak istiyorum kardeşim. !!
edit: zorunlu tanım.
Büyük çaplı dataların farklı yollarla işlenip geleceğe dair tahminde bulunması.
akademik anlamda yükselmek isteyen nunu otursun güzelce öğrensin arkadaş. demedi demeyin. çağın gerisinde kalmak istemiyorsanız bu şart. data mining diye bir kitap var. orada güzel güzel anlatıyor. geçenlerde bizim üniversitede de bunun eğitimini verdik. hınca hınç. laboratuar yetmedi o derece.
loop u idi validation ı idi, k-nn idi, decision tree derken bir anda kendinizi içinde bulabilirsiniz. Ayrıca Şadi Evren Şeker isimli bir hoca var. ben eğitimini ondan aldım. Youtube' da da videoları var. Öğrenecekseniz ondan öğrenin. Hoca nerelerde ders veriyor yakın zamanda takip edin. Kendinizi geliştirmek, çağın gerisinde kalmamak için bunu öğrenmek şart.
pazarlama dünyasında son dönemlerin popüler başlıklarının başında büyük veri (big data) geliyor. büyük veri ile birlikte hayatımıza giren bir diğer kavram ise veri madenciliği (data mining).
dijital verilerin öne kazanması ile birlikte bu veriler daha fazla toplanmaya ve saklanmaya başladı. bunun sonucunda da elimizde büyük veri yığınları oluştu. ayrıca teknolojik gelişmeler ve internetin daha yaygın bir biçimde kullanılmaya başlaması kullanıma açık veri boyutunun da artmasını sağladı.
tüm bu gelişmeler doğrultusunda veri çeşitleri de her geçen gün artış göstermektedir. bugün internette attığımız her bir adım dijital bir ayak izi oluşturmakta. kullandığımız kredi kartımızın verileri, e-ticaret alışverişlerimiz, yazışmalarımız, kullandığımız navigasyon verileri, sosyal medya üyeliklerimiz ve paylaşımlarımız veri çeşitliliği için birkaç örnek oluşturur.
veri madenciliği nedir?
veri alanında çalışan akademisyen ve profesyonellerin yapmış oldukları tanımlamalara baktığımız zaman veri madenciliğinin ne olduğu konusunda bir fikir birliğinin olmadığını görürüz.
ancak veri madenciliğini genel olarak anlatmak gerekirse; büyük miktarda verinin içerisinden anlamlı sonuçlar çıkartabilmek amacıyla otomatik ya da yarı otomatik yöntemlerle işlenmesi ve anlamlı verilere ulaşılması diyebiliriz.
veri madenciliğinden en önemli disiplinlerin başında makine öğrenmesi geliyor. ayrıca ortaya çıkan sonuçların analiz edilmesinde ise istatistik biliminden faydalanılıyor. makine öğrenmesi ile birlikte (bkz: yapay zeka) alanındaki gelişmeler de veri madenciliği açısından önem arz ediyor.
çoğu zaman veri madenciliği, yapay zekâ ve makine öğrenmesi birbirinin yerine kullanılarak yanlış yapılmaktadır. bu 3 disiplin benzer ve hatta ortak araçları kullanan farklı disiplinlerdir.
makine öğrenmesi ve veri madenciliği
bilgisayarın icadından bu yana süre gelen tartışma bilgisayarların tıpkı bir insan aklı gibi öğrenip öğrenemeyeceğidir. bilgisayarların öğrenmesi konusunda çalışmalar yürüten disiplin makine öğrenmesidir.
makine öğrenmesini daha iyi anlayabilmek için insanı incelemek ve karşılaştırma yapmakta fayda var. insan bir taraftan bilgi edinirken diğer taraftan da bu bilgiler ışığında tecrübeler edinmektedir.
hem teorik bilgi ile hem de tecrübelerden edinilen bilgi ile insan kendisini sürekli olarak geliştirir. makine öğrenmesi de buna benzer bir süreci ifade etmektedir. bir program tıpkı insan gibi belli bir konuda insan gibi tecrübe edinip performansını artırıyorsa buna makine öğrenmesi denir.
son dönemin popüler konularından bir tanesi olan chatbot uygulamalarını örnek alalım. müşterilerinize tıpkı insanmış gibi yanıtlar veren sohbet botu aslında sizin sisteme yüklediğiniz sorular ve cevaplara göre müşterinin karşısına çıkmaktadır.
ancak müşterinin sorduğu bazı soruların yanıtları sistemde olmayabilir. bu sefer sistem müşteriye yanıt veremediği soruları size yöneltir. sizden bu sorulara yanıt aldıktan sonra bunu da öğrenerek bir sonraki soruda müşteriye daha iyi yanıt verebilir. böylelikle günden güne öğrenen sistem adeta bir insan gibi müşteri soruları yanıtlamaya başlar.
makine öğrenmesini ilgilendiren birkaç önemli süreç vardır. yukarıda verdiğimiz örnekte olduğu gibi bir chatbot’un müşterilerinize yanıt verebilmesi için öncelikle konuşulan kelimeleri anlamayı öğrenmesi gerekir.
bugün popüler ve çok tartışılan teknolojilerden bir tanesi de sürücüsüz, yani otonom araçlar. bu araçları kontrol eden bilgisayar yazılımı mutlaka araba kullanmayı öğrenmek zorunda. bu araçlarla yapılan testlerde birtakım kazalar meydana gelse de sistem bu kazalardan öğrenerek insanlık için daha olumlu bir noktaya doğru ilerliyor.
bu örnekler çoğaltılabilir ve hatta hayal gücümüzün sınırlarını zorlayarak geleceğe yönelik tahminlerde bulunabiliriz. benim bu konuda hep düşündüğüm doktorların ve avukatların mesleğini (en azından bir kısmını) elinden alacak bir makine öğrenmesi.
örneğin; derinizin altına yerleştirilen bir chip sayesinde saniyelik olarak kan tahlilinizin yapıldığını düşünün. bu tahliller sırasında vücudunuza grip mikrobunun giriş yaptığı tespit edildi. anlık olarak özel bir sağlık kuruluşunun bilgisayar yazılımına veriler gönderildi.
bu program ilgili verileri tarayarak gribin türünü tespit etti ve kullanılması gereken ilaçları sms olarak size gönderdi.
böyle bir sağlık sistemi bizleri sevindirmez mi? insanlık için çok faydalı bir gelişme olmaz mı?
makine öğrenmesi, başlıkta belirttiğimiz şekilde veri madenciliği ile ilişki içerisinde olduğu gibi aynı zamanda birçok farklı disiplinle de birebir ilişki içerisindedir. yapay zeka, bilgi teorisi, psikoloji, felsefe, sosyoloji, olasılık, istatistik bunların başında gelmektedir.
bu ana başlıklar haricinde birçok irili ufaklı disiplinle de ortak çalışmalar yürütmektedir.
veri nasıl toplanır?
veriler 2 farklı biçimde toplanabilir. bunlardan bir tanesi açık bir şekilde veri toplamak, ikincisi ise kapalı bir biçimde veri toplamak.
açık bir şekilde veri toplanması genel olarak ziyaretçi isteği ile gerçekleşir. üyelik sırasında verilen bilgiler, anketler, tercihler gibi birtakım verilerin ziyaretçi tarafından sisteme işlenmesi ile birlikte veri ambarı dolmaya başlar.
buna en güzel örnek sosyal medya mecraları ve e-ticaret siteleri olabilir.
kapalı veri toplama ise ziyaretçinin site içerisindeki hareketlerinin, alışkanlıklarının ve davranışlarının izlenmesi ile toplanır. buradaki amaç ziyaretçinin web sitesi içerisinde yer alan mal veya hizmetlere ya da sitenin alanlarına olan ilgisinin saptanmasıdır.
bunun sonucunda ziyaretçi ilgisinin artırılması için birtakım geliştirmeler hayata geçirilir. bunun için google analytics gibi, hotjar gibi çok kullanılan dijital pazarlama araçlarına ihtiyaç vardır.
yapay zeka ve veri madenciliği
felsefe, psikoloji ve sosyoloji gibi sosyal bilimler insanı anlamaya çalışırlar. bu anlama çalışmasının sonucunda birtakım tezler ortaya çıkar. fakat bu tezler sadece insanı anlamak üzerinedir.
bu bilimlerin ortaya çıkan sonuçlara göre daha iyi bir insan modeli üretme şansı yoktur. var olanı anlamlandırabilirler.
fakat yapay zeka insanı anlayarak, insanın daha üst modelinde bir takım varlıklar üretme çalışmasıdır. yapay zekanın sabit bir tanımı yoktur. çok farklı alanlarda karşımıza çıkabilir.
bir web sitesinin içeriğinin analinizi yapan bir yapay zeka yazılımı ile de karşılaşabiliriz, ev işlerine yardımcı olan bir robot olarak da karşımıza çıkabilir.
yapay zekanın en büyük alametifarikası makine öğrenmesidir. çünkü yapay zeka kendi içerisinde makine öğrenmesini barındırır. az önce söylemiştik. makine öğrenmesi aslında bir insan gibi bilgi ve tecrübelerden öğrenerek kendisini geliştirir.
yapay zeka da aslında bir insan modeli olduğuna göre o da makine öğrenmesi disiplini ile öğrenerek kendisini geliştirir.
yukarıda saydığımız veri madenciliği, makine öğrenmesi ve yapay zeka disiplinlerinde gelişmeler her gün artarak devam etmekte. yakın bir gelecekte tüm bunların nimetlerinden çok daha faydalanır olacağız. hayatımızda çok fazla yerleri olacak.
bu alanda çalışmalar yine daha önceki gelişmelerde olduğu gibi genellikle amerika kaynaklı. ne yazık ki ülkemizde bu 3 disiplin konusunda büyük adımlar atabilen kimse yok.
özellikle bu kadar fazla paylaşım yapmayı ve interneti kullanmayı seven bir toplum olarak ciddi oranda veri paylaşıyoruz. bu verilerin analizini yapacak, bunlardan anlamlı sonuçlar üretebilecek çok az sayıda insan kaynağımız var.
bu alanda eğitim imkanlarını artırarak çözüm bulmalıyız. aksi halde veriyi anlamlandıramadığımız için yine bir treni kaçırmış olacağız.
verinin petrolden daha değerli olduğu bu dijital zamanlarda gerçekten önem arz eden bir daldır. şimdi bu veri madenciliğinde asıl sıkıntılı kısım, işlemeniz gereken verinin çok fazla olması. veriyi düzgün bir şekilde işlemek için bazı özelliklerinden vazgeçmeniz gerekmekte. veriyi düzenlemeniz gerekmekte. direkt elde ettiğiniz veri, normal haliyle kullanılamamakta. çok boyutlu bir verinin daha düşük boyutlara getirilmesi gerekmekte. sonrasında veriyi işlemek mümkün. ve çıkan sonucun anlamlı bir sonuç olup olmadığının da kontrol edilmesi gerekmekte. şu haliyle bu entry biraz dağınık ama çok daha düzgün bir şekilde yeniden gözden geçireceğim.
