birkaç sene önce gan lar, deep learning, machine learning üzerine bayağı bir araştırma yapmıştım.
gelişimi takdire şayan ama bugünkü şekline bürüneceği yüksek teknolojiyle hemhal olmuş bireyler için tahmin edilebilir bir durumdu. kendi derlediğim kısa tarihçeden minik bir kesit.
Derin Öğrenmenin Kısa Tarihçesi:
1943-McCulloch Pitts Neuron-Başlangıç, Walter Pitts ve Warren McCulloch
“Sinir Aktivitesinde Fikirlerin Mantıksal Hesabı “adlı makalelerinde fiziksel
nöronların matematiksel modelini gösterdiler. Yalnız bu nöronların
kapasiteleri çok sınırlıydı ve öğrenme mekanizmaları yoktu. Buna rağmen
yapay sinir ağı ve derin öğrenme için milat sayılmaktadır.
1957-Frank Rosenblatt, Perceptron’u Oluşturdu, Rosenblatt, Perceptron
Algılayan ve Tanımlayan Otomat adlı makalesinde Pitts nöronunun yeni
görünümünü kendi başına “ikili sınıflandırma “ yapmak için gerçek öğrenme
yeteneklerine sahip olan perceptron’u gösteriyor. Bu ilk AI kışına kadar gelecek
yıllarda sığ sinir ağı araştırmalarında devrime ilham verdi.
1960-ilk Geri Yayılım Modeli, Henry J. Kelley Optimal Uçuş Yollarının Gradyan
Teorisi adlı makalesinde sürekli geri yayılım modelinin şimdiye kadarki ilk
versiyonunu göstermektedir. Kontrol Teorisi bağlamında olup ileriki yıllarda
YSA için kullanılacak.
1962-Zincir Kuralı ile Geri Yayılım Üzerine, Stuart Dreyfus Varyasyonel
Problemlerin Sayısal Çözümü adlı makalesinde daha önceki geri yayılım
modellerinin kullanıldığı dinamik programlama yerine basit türev zincir
kuralını kullanan bir geri yayılım modelini göstermiştir.
1965-Çok Katmanlı Sinir Ağlarının Doğuşu, Alexey Grigoryevich, Valentin Lapa
ile birlikte polinom aktivasyon fonksiyonunu kullanan ve Grup Veri işleme
Metodu kullanılarak eğitilmiş sinir ağının hiyerarşik temsilini oluşturuyor.
Günümüzdeyse çok katmanlı ilk algılayıcı olarak kabul edilmektedir.
1969-Perceptron’un Düşüşü, Marvin Minsky ve Papert Rosenblatt’ın
algılayıcısının xor gibi karmaşık fonksiyonları çözemeyeceğini gösterdikleri
perceptrons kitabını yayınladı. Sinir ağlarının ilk kışı da bu tarihten sonra
başlıyor.
1970-Geri Yayılım Bilgisayar Kodu Olmalıdır, Seppo Linna, geri yayılım için
otomatik farklılaşma için genel bir metot yayınlar ve ayrıca kodunda bu geri
yayılımı uyguluyor.
1971-Sinir Ağı Derinleşiyor, Alexey Grigoryevich Nöral Network’teki
araştırmalarına devam ediyor. Grup Veri işleme Metodunu kullanarak sekiz
katmanlı derin sinir ağı oluşturdu.
1980-Neocognitron, ilk CNN Mimarisi, Kunihiko Fukushima el yazısı
karakterler gibi görsel pattern’leri tanıyabilen ilk evrişimsel sinir ağı mimarisi
olan neocognitron ile karşımıza çıktı.
1982-Hopfield Ağı-Erken CNN, John tekrarlayan bir sinir ağından başka bir şey
olmayan Hopfield Ağı’nı yarattı. içeriğe göre adreslenebilir bir bellek sistemi
olarak hizmet etti bu.
1985-YSA’da Geri Yayılım Tavsiyesi, Paul Werbos’un 1974 doktorasına
dayanmaktadır. Bu makale sinir ağları eğitimi sırasında hataları yaymak için
geri yayılımın kullanımını herkese açık bir şekilde tavsiye ediyor.
SAYFA 60
1985-Boltzmann Makinesi, David Ackley Geoffrey Hinton ve T. Sejnowski
stokastik tekrarlayan bir sinir ağı olan Boltzmann makinesi yarattı. Bu sinir
ağında yalnızca giriş katmanı ve gizli katman mevcuttu.
1986-NetTalk ANN Modeli Konuşmayı Öğreniyor, Terry Sejnowski metin girdisi
olarak gösterilerek ve karşılaştırma için fonetik transkripsiyonları eşleştirerek
yazılı ingilizce metni telaffuz etmeyi öğrenen sinir ağı NetTalk’ı tasarladı.
1986-Geri Yayılım Uygulaması, G. Hinton ve Rumelhart’la Williams Öğrenme
Temsillerini Geri Yayılım Hatalarıyla Öğrenme adlı makalesinde sinir ağlarında
geri yayılımın başarılı bir şekilde uygulanabileceğini gösterdi.
1986-Kısıtlı Boltzman Makinesi, Paul Smolensky girdi katmanıyla ve gizli
katmanda katman içi bağlantının olmadığı bir Boltzmann Makinesi varyasyonu
ile yeni bir keşif yaptı. Tavsiye sistemlerinde oldukça popüler hale geleceği
düşünülüyor.
1989-Geri Yayılımla Çalışan CNN, Yann LeCunn el yazısı rakamları tanımak için
evrişimli sinir ağını eğitmek için geri yayılımı kullandı. Bu bilgisayarlı görme
için büyük bir dönüm noktası oldu.
1989-Evrensel Yaklaşımlar Kuramı, George Cybenko Evrensel Yaklaşımlar
Teoreminin en eski versiyonunu Bir sigmoidal fonksiyonun
süperpozisyonlarıyla ilgili makalesinde yayınladı. Sonlu sayıda nöron içeren tek
gizli katmana sahip ileri beslemeli sinir ağının herhangi bir sürekli fonksiyona
yaklaşabileceğini kanıtladı.
1991-Kaybolan Gradyan Sorunu, Sepp Hochreiter derin sinir ağının
öğrenilmesini son derece yavaş ve neredeyse pratik olmayan hale getirebilecek
kaybolan gradyan problemini tanımladı.
1997-LSTM’nin ilk adımı Sepp ve Jürgen Uzun Kısa Sürekli Bellek üzerine çığır
açıcı bir makale yayınladı. Bu derin öğrenme alanını sarsan tekrarlayıcı sinir ağı
mimarisiydi.
2006-Derin inanç Ağı Gelişmesi, Geoffrey Hinton Ruslan ve Teh birden fazla
RBM’yi katmanlar halinde bir araya getirdikleri ve derin inanç ağları olarak
tanımladıkları Derin inanç Ağları için Hızlı Öğrenme hakkındaki makalelerini
yayınladılar. Eğitim süreci büyük miktarda veri için oldukça verimliydi.
2008-GPU Devrimi Başlıyor, Andrew NG’nin Stanford’daki grubu eğitim
süresini büyük ölçüde hızlandırmak adına derin sinir ağlarının eğitiminde
GPU’ları öne çıkardı.
2009-ImageNet Yarışması Başlatıldı, Yeterince etiketlenmiş veri bulmak derin
öğrenme topluluğu için daima zor olmuştu. 2009’da Stanford’da profesör olan
Fei-Fei 14 milyon etiketli görüntüden oluşan veritabanı olan imageNet’i kurdu.
Derin sinir ağı araştırmacıları için hayati roller üstlendi daha sonrasında.
2011-Kaybolan Gradyan, Yoshua Bengio, Antonie ve Glorot Derin Seyrek
Doğrultulu Sinir Ağları adlı makalelerinde ReLU aktivasyon fonksiyonunun
kaybolan gradyan problemini önleyebileceğini gösteriyordu. Bu derin öğrenme
araştırmacılarının GPU dışında alternatifleri olduğunu gösteriyordu.
2012-AlexNet’le Derin Öğrenme Devrimi Gerçekleşti, Alex Krizhevsky
tarafından tasarlanan bir GPU uygulamalı CNN modeli olan AlexNet
imageNet’in görüntü sınıflandırma yarışmasını %84 doğruluk payıyla kazandı.
Bu daha önceki modellerin elde ettiği %75 doğruluk üzerinde yıkıcı bir etki
yarattı.
2014-GAN’ların Doğumu, GAN olarak da bilinen Çekişmeli Sinir Ağı ian
Goodfellow tarafından yaratıldı. GAN’lar gerçeğe yakın verileri harmanlama
kabiliyetleri nedeniyle moda, sanat ve bilimde derin öğrenmenin
uygulanmasında bir sonraki adımı gerçekleştirdi.
2016-AlphaGo Gerçek Bir insanla Mücadele Ediyor, DeepMind’in pekiştirmeli
öğrenme modeli karmaşık Go oyununda insan şampiyonu yendi. Oyun
satrançtan çok daha karmaşıktı. Bu sebeple mevcut başarı sıradan insanların
hayal gücünü yakalıyordu.
2019-Derin Öğrenmede Büyük Ödül, Yoshua, G. Hinton, ve LeCun derin
öğrenme ve yapay zeka alanındaki ilerlemelere yaptıkları katkılardan dolayı
Turing Ödülü’ne layık görüldü.
