1. Giriş

Model distillation (öğretme/öğreti alma) modern makine öğrenimi ve derin öğrenme ekosisteminde hem araştırma hem de üretim tarafında sıkça tartışılan bir tekniktir. Temel fikir; büyük, hesaplama açısından pahalı bir "öğretmen" (teacher) modelden, daha küçük, daha hızlı ve üretime uygun bir "öğrenci" (student) model türeterek benzer davranışı korumaktır. Bu yaklaşım, özellikle kaynak kısıtlı cihazlarda, düşük gecikmeli servislerde veya yüksek çağrı hacimli uygulamalarda pratik kazanımlar sağlar.

Bugün neden önemli? Model boyutları arttıkça (LLM’ler, büyük konvolüsyon ağları vb.) inference maliyeti ve bellek ihtiyaçları dramatik biçimde yükselir. Distillation, maliyet‑performans dengesini iyileştirmenin en etkili yollarından biridir. Üstelik distillation yalnızca hız veya bellek kazancı sağlamaz; bilgi transferi yaklaşımı sayesinde student model genellikle öğretmenin öğrendiği genel yapıdan faydalanır ve bazen öğrenci, aynı kapasitedeki müstakil eğitimden daha iyi sonuç verir.

Bu makale, model distillation konusunu mühendis ve mimar perspektifiyle derinlemesine inceler: kavramsal temeller, teknik çeşitleri, nasıl çalıştığı, gerçek dünya uygulamaları, avantajlar ve sınırlamalar, karşılaştırmalar, en iyi pratikler ve yaygın hatalar. Hedef; MLOps ekiplerine, model mühendislerine ve teknik yöneticilere uygulama rehberi sunmaktır.

2. Kavramsal Temeller

Temel Tanımlar

• Teacher (Öğretmen) model: Genellikle büyük ve yüksek doğruluklu bir model. Eğitim sürecinde öğrenci için hedef davranışları üretir.
• Student (Öğrenci) model: Daha küçük, daha verimli bir model; öğretmenden gelen sinyali kullanarak öğrenir.
• Soft Labels (Yumuşak Etiketler): Öğretmenin sınıf olasılıkları (logit/softmax çıktıları). Sadece sert etiketler yerine bu dağılım öğrenciye çok daha zengin bilgi verir.
• Temperature: Softmax'ta kullanılan bir ölçek parametresi; yüksek temperature daha düz bir dağılım verir ve distillation sırasında daha fazla bilgi aktarır.

Distillation Türleri

• Vanilla (Hinton) Distillation: Öğretmenin softmax çıktılarını kullanarak öğrencinin kaybını minimize etme (original KD).
• FitNets / Hint-based: Ara katman bilgilerini (feature map) öğretmenden öğrenciye aktaran yöntemler.
• Task‑specific distillation: Retrieval, object detection veya sequence‑to‑sequence gibi özel görevler için uyarlanmış teknikler.
• Online / Mutual Distillation: Eş zamanlı veya çoklu student/teacher arasındaki bilgi alışverişi.

Neden Distillation Çalışır? (İçgörü)

Soft labels, sadece doğru sınıf bilgisini değil, öğretmenin modelinin gördüğü sınıflar arası ilişkileri de taşır. Örneğin bir görüntü sınıflandırmada öğretmen, "köpek" sınıfına yüksek olasılık verirken "tilki" sınıfına da orta derecede olasılık gösterebilir — bu, öğrenciye sınıflar arası hiyerarşiyi öğretir. Ayrıca öğretmenin entropisi ve hata dağılımı, öğrencinin model uzayında daha iyi genelleme yapmasına yardımcı olur.

3. Nasıl Çalışır?

Teknik Mimariler

Distillation genelde şu ana bileşenlere sahiptir:

1. Teacher eğitimi: Yüksek doğruluklu model bağımsız olarak eğitilir (genelde FP32, büyük kapasite).
2. Soft label üretimi: Teacher modeli kullanılarak eğitim verisi veya genişletilmiş veri üzerinde logit/softmax çıktıları hesaplanır.
3. Student eğitimi: Student modeli, genellikle iki bileşenli bir kaybı minimize ederek eğitilir: (a) sert etiketlere karşı çapraz entropi, (b) öğretmen çıktıları ile arasındaki uzaklık (KL divergence veya MSE gibi).
4. Optional: Feature matching: Ara katman rehberliği ile öğrenci öğretmenin ara temsillerini taklit etmeye çalışır.

Kayıp Fonksiyonları ve Hiperparametreler

Standart Hinton distillation kaybı:

L = alpha * CrossEntropy(student_logits, true_labels) + (1 - alpha) * T^2 * KL(softmax(teacher_logits / T), softmax(student_logits / T))

• alpha: Sert etiket ve öğretmen çıkışı arasındaki ağırlık denge parametresi.
• T (temperature): Yumuşak dağılımın düzleştirilmesi için kullanılır; yüksek T daha fazla bilgi aktarır.

Feature Distillation (Hint‑based)

Öğretmenin ara katman temsillerini öğrenciye eşleştirmek için çeşitli yöntemler vardır:

• Doğrudan MSE ile feature map'leri eşleştirme (boyutlar uyuşmuyorsa adaptör kullanılır).
• Attention transfer: Öğretmenin attention map'lerini öğrenciye kopyalama.
• Relational Knowledge Distillation: Örnekler arası ilişki matrislerini eşleştirir (pairwise distances).

Online ve Mutual Distillation

Online distillation, öğretmen ve öğrenci ayrımının statik olmadığı, modellerin birlikte eğitildiği senaryodur. Mutual distillation ise birden fazla öğrenci modelin birbirine öğretmesi yaklaşımıdır. Bu teknikler eğitim verisini ve hesaplamayı birleştirerek verimliliği artırabilir.

4. Gerçek Dünya Kullanımları

Mobil ve Edge Deployment

Mobil uygulamalarda veya IoT/edge cihazlarda bellek ve compute sınırlamaları vardır. Distillation ile BERT benzeri modellerin küçük versiyonları (DistilBERT gibi) elde edilmiştir. Bu sayede cihaz üzerinde düşük gecikme ile NLP görevleri yapılabilmektedir.

SaaS ve API Üretimi

Yüksek çağrı hacimleri olan servislerde distillation inference maliyetlerini düşürür. Örneğin bir kod tamamlama servisi veya müşteri destek chatbot'u için küçük student modeller, throughput'u artırırken maliyeti düşürür ve aynı zamanda teacher'dan gelen sinyalle kaliteli cevaplar üretir.

Öneri Sistemleri

Re‑ranking gibi aşamalarda ağır modeller adayları filtrelemek için batch olarak kullanılırken, öğrenci modeller düşük gecikme ile online re‑rank katmanında görev alabilir.

Healthcare & FinServ

Regüle sektörlerde model explainability ve doğruluk kritik olduğundan distillation'ı dikkatle uygulamak gerekir — öğretmen modellerin hataları öğrenciye aktarılabilir. Bu yüzden distillation süreçleri sıkı validasyon gerektirir.

5. Avantajlar ve Sınırlamalar

Avantajlar

• Verimlilik: Student modeller daha küçük ve hızlıdır; inference ve hafıza maliyetlerini azaltır.
• Bilgi transferi: Öğretmenin yumuşak etiketleri sınıflar arası ilişkiyi öğrenciye aktarır, genellikle daha iyi genelleme sağlar.
• Hibrit Çözümler: Teacher offline, student online gibi hibrit mimariler kurulabilir.

Sınırlamalar ve Riskler

• Öğretmen hatasının aktarımı: Teacher model hataları öğrenciye kopyalanabilir.
• Calibration ve hyperparametre hassasiyeti: T, alpha gibi parametrelerin doğru seçimi kritik.
• Uygulama karmaşıklığı: Feature distillation ve layer matching gibi gelişmiş teknikler pipeline'ı karmaşıklaştırır.

6. Alternatifler ve Karşılaştırma

7. En İyi Pratikler

Production Kullanımı

• Teacher modelin doğruluğunu ve hata dağılımını analiz edin; kritik hataları düzeltilmeden distillation yapmayın.
• Önce baseline: öğrenci modeli doğrudan kendi verisiyle eğitin ve distillation sonrası farkı ölçün.
• Canary ve shadow deployment ile canlı davranışı doğrulayın.

Hiperparametre ve Eğitim Stratejileri

• T (temperature) ve alpha için küçük grid aramaları yapın; validation üzerinde en iyi trade‑off'u bulun.
• Feature distillation kullanıyorsanız adaptör katmanları (1x1 conv veya linear projection) ile boyut uyuşmazlığını çözün.
• Iterative distillation: Çok agresif küçültmeler yerine birkaç aşamada küçültmeyi deneyin.

Performans ve Ölçek

• Student inferencelarını üretimde profiling ile izleyin; gerçek dünya trace'leriyle benchmark'layın.
• Batching ve quantization kombinasyonlarını test edin — distillation ile birlikte büyük kazançlar sağlayabilir.

8. Sık Yapılan Hatalar

• Yetersiz validation: Sadece doğruluk metric'i değil, calibration, fairness ve edge‑case performansı da kontrol edilmeli.
• Teacher bağımlılığı: Öğretmenin yanlış genellemeleri öğrenciye aktarılabilir — teacher model auditing önemlidir.
• Ara katman eşleştirmede boyut uyuşmazlığı: Doğrudan feature map eşleştirmeye çalışmak yerine adaptör veya pool kullanın.
• Sadece tek metric'e odaklanma: Latency, memory, enerji ve maliyet gibi operasyonel metrikleri göz ardı etmeyin.

9. Gelecek Trendler

1. Automated Distillation Pipelines: MLOps araçları distillation adımlarını otomatikleştirip, continuous distillation destekleyecek.
2. Distillation for LLMs: Large language modeller için layer‑wise ve attention‑aware distillation teknikleri olgunlaşacak.
3. Hybrid Optimization: Distillation, quantization ve pruning kombinasyonları otomatikleştirilecek; hardware‑aware optimizasyon artacak.
4. Federated / Privacy‑aware Distillation: Veriyi paylaşmadan öğretmen bilgi transferi sağlayan protokoller gelişecek.

Ek Bölümler

Sık Sorulan Sorular (FAQ)

1. Distillation ile distillation yapılır mı?

   Evet. Iterative distillation pratikte kullanılır: büyük teacher -> orta öğrenci -> küçük öğrenci şeklinde aşamalı küçültme daha stabil sonuçlar verebilir.

2. Öğretmen hataları öğrenciye geçer mi?

   Evet, bu risk vardır. Teacher'ın davranışı ve hataları dikkatle analiz edilmeli; gerekiyorsa teacher temizlenmeli veya ensemblling ile hata azaltılmalıdır.

3. Feature distillation gerekli mi?

   Her durumda değil; baseline KD çoğu görevde fayda sağlar. Ancak öğrenci ve öğretmen yapı farkı büyükse feature distillation performansı artırır.

4. Distillation eğitim süresini kısaltır mı?

   Genelde öğrenci daha küçük olduğu için eğitim daha hızlıdır; fakat distillation adımı ek hesaplama gerektirir. Toplam pipeline time projenin yapısına göre değişir.

5. Which tasks benefit most?

   NLP, görüntü sınıflandırma, object detection ve öneri sistemleri distillation'dan sıkça fayda görür.

6. Distillation ve quantization birlikte kullanılır mı?

   Evet, sıklıkla kombine edilir: önce distill ederek küçük bir model elde edilir, sonra quantize edilerek deploy edilir.

7. Online distillation ne zaman kullanılır?

   Modellerin sürekli öğrenme veya ensemble senaryolarında, veya resource sharing amaçlı online distillation tercih edilebilir.

8. En iyi araçlar hangileri?

   Hugging Face Transformers + DistilBERT örnekleri, PyTorch distillation utilities, TensorFlow Model Optimization ve açık kaynak araştırma kütüphaneleri yaygın seçeneklerdir.

Anahtar Kavramlar

Model Distillation

Büyük modelden daha küçük modele bilgi transfer etme tekniği.

Soft Labels

Öğretmenin olasılık dağılımları; öğrenciye zengin hedef sağlar.

Temperature

Softmax dağılımını yumuşatma parametresi.

Feature Distillation

Ara katman temsil bilgilerinin transferi.

Öğrenme Yol Haritası

1. Temel: Python, linear algebra, istatistik.
2. Derin öğrenme: PyTorch veya TensorFlow, optimizer, loss fonksiyonları.
3. Model compression: quantization, pruning, distillation teknikleri.
4. MLOps: model registry, CI/CD, monitoring, A/B ve shadow testing.
5. Pratik projeler: DistilBERT ile NLP görevleri; küçük student modellerle mobile deploy projeleri.