1. Arka Plan Girişi
Transformatör modeli, Vaswani ve arkadaşları tarafından 2017 yılında tanıtılmasından bu yana, doğal dil işleme alanında devrim niteliğinde ilerlemeler kaydetmiştir. Ancak, üretken görevlerin karmaşıklığı arttıkça, geleneksel Transformatör modelleri zorluklarla karşılaşmaktadır. Difüzyon Transformatörleri (DiT'ler) önerisi, bu zorlukların üstesinden gelmek için difüzyon sürecinin üretken yeteneklerini Transformatörlerin öz-dikkat mekanizmasıyla birleştirmeyi amaçlamaktadır.
2. Difüzyon Modelleri
2.1. Difüzyon Modellerinin Arka Planı
Difüzyon Modelleri, eğitim verilerine benzer veriler üretmek için kullanılan, çeşitli yüksek çözünürlüklü görüntüler üretebilen yeni ve gelişmiş bir tür üretken modeldir.
2.2. Difüzyon Modellerinin Tanımı
Difüzyon Modelleri, eğitim verilerine benzer veriler üretmek için kullanılan, çeşitli yüksek çözünürlüklü görüntüler üretebilen yeni ve gelişmiş bir tür üretken modeldir.
2.3. Difüzyon Modellerinin Temel Fikri
Denge dışı termodinamikten ilham alan Difüzyon Modelleri, temel fikri difüzyon süreciyle verilere kademeli olarak gürültü eklemek ve daha sonra bu süreci tersine çevirerek gürültüden istenen veri örneklerini oluşturmayı öğrenmek olan üretken modellerdir.
2.4. Difüzyon Sürecinin Ayrıntılı Açıklaması
Yayılma süreci genellikle iki aşamadan oluşur: ileri süreç ve geri süreç. ileri süreçte, model verileri kademeli olarak basit bir gürültü dağılımına yönlendirir; geri süreçte ise model bu süreci tersine çevirerek gürültüyü kademeli olarak giderir ve orijinal verileri kurtarır.
3. Transformatör Mimarisi
3.1. Transformatörlere Genel Bakış
Transformatörler, ardışık verileri işleyebilen ve uzun mesafeli bağımlılıkları yakalayabilen, öz-dikkat mekanizmasına dayalı modellerdir. Bir kodlayıcı ve bir kod çözücüden oluşurlar ve öz-dikkat katmanları ve ileri beslemeli sinir ağı katmanları aracılığıyla bilgi aktarımı ve işlemeyi gerçekleştirirler.
3.2. Öz Dikkat Mekanizması
Öz-dikkat mekanizması, modelin bir diziyi işlerken aynı anda tüm öğeleri dikkate almasını ve böylece küresel bağlamı yakalamasını sağlar.
4. Difüzyon Transformatörlerinin Birleştirilmesi
4.1. DiT'lerin Temel Kavramları
4.1.1. DiT'nin Tanımı
Difüzyon Transformatörü, görüntü ve video oluşturma görevlerinde kullanılan, verilerdeki bağımlılıkları etkin bir şekilde yakalayıp yüksek kaliteli sonuçlar üretebilen, Transformatör mimarisiyle birleştirilmiş bir difüzyon modelidir.
4.1.2. DiT'nin Özü
Difüzyon Transformatörü, gürültü giderici difüzyon olasılıksal modelini (DDPM) Transformatör mimarisiyle birleştiren yeni bir difüzyon modeli türüdür.
4.1.3. DiT'nin Temel Fikri
Difüzyon Transformatörünün temel fikri, görüntülerin gizli gösterimlerini işlemek için geleneksel evrişimli sinir ağları (U-Net gibi) yerine, Transformatörü difüzyon modelinin omurga ağı olarak kullanmaktır.
4.2. DiT'lerin iş Akışı
Gürültünün eklenmesi ve gürültü ekleme sürecini tersine çevirmek için bir sinir ağının eğitilmesi, Transformer modeliyle birleştirildiğinde, görüntü veya video oluşturma ve dönüştürme işlemi gerçekleştirilir. Bu süreç, veri ön işleme, gürültü ekleme, model eğitimi ve nihai görüntü veya video oluşturma aşamalarını içerir.
4.2.1. Veri Ön işleme
Giriş görüntüsünü veya video verilerini, görüntüyü sabit boyutlu parçalara bölüp daha sonra bu parçaları özellik vektörlerine dönüştürmek gibi model tarafından işlenebilecek bir biçime dönüştürün.
4.2.2. Gürültüye Giriş
Veri ön işlemesinden sonra özellik vektörlerine kademeli olarak gürültü ekleyerek gürültüyü artıran bir yayılma süreci oluşturun. Bu süreç, orijinal verilerden gürültülü verilere dönüşüm olarak görülebilir.
4.2.3. Model Eğitimi
Giriş olarak gürültü eklenmiş özellik vektörlerini kullanarak Difüzyon Transformatörü modelini eğitin. Modelin amacı, gürültü ekleme işleminin nasıl tersine çevrileceğini, yani gürültülü verilerden orijinal verileri nasıl kurtaracağınızı öğrenmektir.
4.2.4. Görüntü veya Video Oluşturma
Model eğitimi tamamlandıktan sonra, modele gürültülü veriler (veya rastgele oluşturulmuş gürültü) girilerek yeni görüntü veya videolar oluşturulabilir. Bu veriler, model tarafından işlendikten sonra yeni görüntü veya videolar oluşturur. Bu oluşturma süreci, gürültünün model tarafından öğrenilen orijinal verilere eşlenmesi ilişkisini kullanır.
4.3. DiT'nin Mimarisi
DiT mimarisi, omurga ağı olarak Görüntü Dönüştürücü'yü (ViT) kullanan ve ViT normalizasyonunu ayarlayarak ölçeklenebilir bir difüzyon modeli oluşturan Gizli Difüzyon Modeli (LDM) çerçevesine dayanmaktadır. Mimari aşağıdaki gibidir:
4.3.1. Giriş Katmanı
Giriş katmanı, DiT'lerin üretim süreci için gerekli bağlamı sağlayan koşullu bilgileri alır.
4.3.2. Difüzyon Katmanı
Difüzyon katmanı, gürültünün kademeli olarak tanıtılmasından ve dağınık veri üretilmesinden sorumludur.
4.3.3. Ters Difüzyon Katmanı
Ters difüzyon katmanı, hedef verileri üretmek için gürültüyü gidererek difüzyon sürecini tersine çevirir.
4.3.4. Öz Dikkat Modülü
Öz-dikkat modülü her difüzyon ve ters difüzyon adımında rol oynayarak modelin küresel bilgiyi yakalamasına yardımcı olur.
5. DiT'lerin Uygulamaları
5.1. Sora
5.1.1. Sora'nın Tanımı
Sora modeli, videoları benzersiz bir şekilde üreten, gürültüyü kademeli olarak gidererek nihai görüntüyü oluşturan, daha detaylı sahneler ve karmaşık dinamikleri öğrenme yeteneği sağlayan gelişmiş bir görsel teknoloji modelidir.
5.1.2. Sora'nın Temel Bileşenleri
Sora modelinin temel bileşenleri arasında Difüzyon Transformatörü (DiT), Varyasyonel Oto Kodlayıcı (VAE) ve Görüntü Transformatörü (ViT) yer almaktadır.
DiT, gürültülü verilerden orijinal video verilerini kurtarmaktan sorumludur, VAE, video verilerini gizli gösterimlere sıkıştırmak için kullanılır ve ViT, video karelerini DiT işleme için özellik vektörlerine dönüştürmek için kullanılır.
- Difüzyon Transformatörü (DiT) : Difüzyon modellerinin ve Transformatör mimarisinin avantajlarını birleştiren DiT, gürültüden veriye difüzyon sürecini simüle ederek yüksek kaliteli ve gerçekçi video içeriği üretebilir. Sora modelinde DiT, gürültülü verilerden orijinal video verilerini kurtarmaktan sorumludur.
- Varyasyonel Otokodlayıcı (VAE) : VAE, giriş görüntülerini veya video verilerini düşük boyutlu gizli gösterimlere sıkıştırabilen ve bu gizli gösterimleri bir kod çözücü aracılığıyla orijinal verilere geri yükleyebilen üretken bir modeldir. Sora modelinde VAE, giriş video verilerini DiT için girişlere sıkıştırmak üzere bir kodlayıcı olarak kullanılır ve böylece DiT'nin giriş videosuna benzer video içeriği oluşturmasına rehberlik eder.
- Görüntü Dönüştürücü (ViT) : ViT, görüntüleri bir dizi yama olarak ele alan ve bu yamaları Dönüştürücü için girdi olarak özellik vektörlerine dönüştüren, Dönüştürücü tabanlı bir görüntü işleme modelidir. Sora modelinde ViT, bir ön işleme adımı veya modelin bir bileşeni olarak kullanılabilir.
5.2. Metinden Görüntüye Üretim
DiT'ler, sanatsal yaratım ve içerik üretimi açısından önemli uygulamalara sahip olan metinsel açıklamalara karşılık gelen görseller üretebilir.
5.3. Görüntü Süper Çözünürlüğü
DiT'ler, görüntü ayrıntısını ve kalitesini koruyarak görüntü çözünürlüğünü artırmak için kullanılabilir.
5.4. Stil Transferi
DiT'ler bir sanatsal stili başka bir görüntüye uygulayarak stil aktarımı etkisi yaratabilir.
6. Codia AI'nın ürünleri
Codia AI, multimodal, görüntü işleme ve yapay zeka konusunda zengin deneyime sahiptir.
