1. Giriş

Büyük dil modelleri (Large Language Models — LLM'ler) son birkaç yılda doğal dil işleme, kod üretimi, arama ve iş akışı otomasyonu gibi alanlarda devrim yarattı. Ancak yüksek performanslı LLM'lerin çalıştırılması yüksek hesaplama ve bellek maliyetleri gerektirir. Quantization, model ağırlıklarını ve/veya aktivasyonlarını daha düşük hassasiyete dönüştürerek hem bellek kullanımını hem de hesaplama maliyetini azaltan etkili bir optimizasyon tekniğidir.

Bu makale derinlemesine bir rehberdir: quantization'ın neden kritik olduğunu, hangi tekniklerin mevcut olduğunu, bu tekniklerin LLM'lerde nasıl uygulandığını ve üretimde hangi risklerle karşılaşılabileceğini anlatarak mühendislerin ve mimarların bilinçli karar vermesine yardımcı olur. Ayrıca gerçek dünya örnekleri, en iyi pratikler, sık yapılan hatalar ve öğrenme yol haritası sunulur.

Bu konu neden bugün önemli? LLM’lerin model boyutları arttıkça hesaplama ve bellek maliyetleri katlanıyor. Bulut faturaları, edge dağıtımları ve sürdürülebilirlik hedefleri, Quantization gibi optimizasyon tekniklerini zorunlu kılmaya başladı. Kimler için önemli? MLOps ekipleri, LLM servis sağlayıcıları, altyapı mühendisleri, FinOps ekipleri ve araştırmacılar için hayati bir alan.

2. Kavramsal Temeller

Quantization Nedir?

Quantization, bir modelin ağırlıklarını ve/veya aktivasyonlarını daha düşük bit genişliğinde (ör. 16-bit → 8-bit → 4-bit → 3-bit) temsil etme işlemidir. Bu dönüşüm, modelin bellekte kapladığı alanı ve hesaplama sırasında gereken bellek bant genişliğini azaltır. Sonuç: daha hızlı inference, daha düşük bellek kullanımı ve nadiren maliyet düşüşü. Ancak quantization doğruluğu etkileyebileceğinden dikkatli değerlendirme gerekir.

Temel Türler

• Post‑training quantization (PTQ): Eğitilmiş modele sonradan uygulanan quantization. Ek eğitim gerektirmez (veya hafif fine‑tune ile uygundur).
• Quantization‑aware training (QAT): Eğitim sırasında quantization etkisini taklit ederek modele daha dayanıklı ağırlıklar öğrenmesini sağlar; genelde daha iyi doğruluk korunumu sunar.
• Static vs Dynamic Quantization: Static quantization, ölçek ve sıfır noktası (scale & zero point) için calibration data kullanırken; dynamic quantization çalışma zamanında aktivasyonlara göre dönüşüm yapar.

Terminoloji

• Bit‑width: Ağırlık/aktivasyon için kullanılan bit sayısı (örn. 8‑bit, 4‑bit, 3‑bit).
• Scale & Zero‑Point: Lineer quantization'da gerçek sayıları integer aralığına eşleyen dönüşüm parametreleri.
• Per‑tensor vs Per‑channel quantization: Ölçek değerinin tüm tensör için tek olması (per‑tensor) veya her çıkış kanalı için ayrı ölçek olması (per‑channel).

3. Nasıl Çalışır?

Sistem Mimarisi ve Bileşenler

Quantization'ı üretimde uygulamak, sadece model dosyasını dönüştürmekten fazlasıdır. Bir üretim pipeline'ında şunların planlanması gerekir:

• Model conversion tooling: ONNX, TensorRT, Hugging Face Transformers + PEFT/Optimum, Intel Neural Compressor vb.
• Calibration dataset: PTQ için temsil edici örnekler gerekir (calibration set).
• Inference runtime: quantized kernel desteği (QNNPACK, FBGEMM, TensorRT, ONNX Runtime Quant).
• Monitoring: doğruluk regresyonu, latency, memory usage, quantization drift.

Veri Akışı — Quantize ve Deploy Adımları

1. Model eğitim ve doğrulama: Floating‑point (FP32) model eğitimi.
2. Calibration set hazırlanması: PTQ için temsil edici veri seçimi.
3. Quantization dönüşümü: Per‑tensor/per‑channel, simülasyon veya integer conversion.
4. Optional: QAT ile fine‑tune (eğer doğruluk kritikse).
5. Export: ONNX/TensorRT/other formatlara dönüştürme.
6. Prod testleri: shadow traffic veya A/B ile doğruluk ve latency testi.

Teknik Detaylar — 8‑bit → 4‑bit → 3‑bit

8‑bit quantization genelde en yaygın olanıdır: birçok runtime ve CPU/GPU kütüphanesi 8‑bit INT hızlandırma sunar. 4‑bit ve 3‑bit quantization daha agresif sıkıştırmadır ve LLM'lerde bellek kazanımı yüksek olsa da, özel algoritmalar (GPTQ, AWQ, QLoRA kombinasyonları) veya QAT gerekir. Bu düşük bit quantize yöntemleri genelde şu adımları içerir:

• Hafızada ağırlıkları bloklar halinde bölme ve her blok için ayrı scale hesaplama (blockwise quantization).
• Per‑out_channel quantization: her çıkış neuron'u için ayrı scale kullanımı doğruluğu korur.
• Bias correction ve quantization noise compensation teknikleri.

4. Gerçek Dünya Kullanımları

Model Hosting Sağlayıcıları ve Araçlar

Hugging Face, OpenAI kullanıcıları için optmize edilmiş quantized modeller ve dönüşüm araçları sağlıyor. Örneğin Hugging Face Optimum, ONNX Runtime ve Intel/NVIDIA kütüphaneleri quantize edilmiş runtime'lar için entegrasyon sunar. Ticari olarak birçok servis sağlayıcı quantized model hosting veya conversion pipeline sunuyor.

Edge ve Mobil Uygulamalar

Edge ve mobil ortamlar, bellek ve enerji sınırlamaları nedeniyle quantization'dan büyük fayda sağlar. Örneğin mobilde 8‑bit veya daha düşük bit quantize edilmiş BERT benzeri modeller, lokal inference ile gizlilik dostu ve düşük gecikmeli deneyimler sunar.

SaaS Uygulamaları

Yüksek çağrı hacmi olan SaaS ürünleri, quantization sayesinde inference başına maliyeti düşürebilir. Özellikle embedding üretimi ve batch skorlamada 8‑bit quantize edilmiş runtime'lar ile hız artışı sağlanır.

Araştırma & Üretim Arası Köprü

Birçok araştırma grubu GPTQ, AWQ, SmoothQuant ve QLoRA gibi yaklaşımları geliştiriyor. Bu yaklaşımlar, düşük bit quantization'ı LLM'lere uygulamak için pratik yollar sunuyor ve üretimde kullanıma uygun hale getiriyor.

5. Avantajlar ve Sınırlamalar

Avantajlar

• Bellek Tasarrufu: 8‑bit'e düşürmek model belleğini yaklaşık %2–4 oranında azaltırken, 4‑bit veya 3‑bit ile büyük kazançlar (yonca) elde edilir.
• Maliyet Azaltma: Daha düşük bellek ve daha az hesaplama, daha ucuz instance'larda veya daha az GPU saatinde çalıştırma imkanı verir.
• Deploy Esnekliği: Quantized model, edge veya küçük GPU'larda çalıştırılabilir hale gelir.

Dezavantajlar ve Riskler

• Doğruluk Kaybı: Özellikle agresif (4‑bit/3‑bit) quantization'da model doğruluğu düşebilir; QAT veya advanced calibration ile kısmen telafi edilir.
• Runtime Desteği: Tüm donanımlar ve runtime'lar düşük bit quantization'ı desteklemez; deployment karmaşıklığı artar.
• Calibration Hassasiyeti: PTQ için seçilen calibration veri seti model performansını doğrudan etkiler — temsil edici veri şarttır.

6. Alternatifler ve Karşılaştırma

7. En İyi Pratikler

Production Kullanımı

• Küçük adımlarla ilerleyin: önce 8‑bit PTQ deneyin; doğruluk kabul edilebilir ise daha agresif bit düşürmeye geçin.
• Calibration set'iniz modelin gerçek kullanımını iyi temsil etsin — domain shift doğruluk kaybına yol açar.
• Canary ve shadow testleri ile canlı doğruluk kontrolleri yapın.

Performans Optimizasyonu

• Per‑channel quantization kullanın; bu çoğu zaman per‑tensor'e göre daha iyi doğruluk sağlar.
• Blockwise quantization ve bias correction tekniklerini değerlendirin.
• Runtime seçimini dikkatle yapın: ONNX Runtime, TensorRT ve vendor optimizasyonları büyük fark yaratır.

Güvenlik ve Stabilite

• Quantized model versiyonlarını ve metadata'yı model registry'de saklayın.
• Monitoring: prediction distribution, latency histogram, doğruluk ve kullanıcı KPI'larını izleyin.

Ölçeklenebilirlik

• Edge veya düşük kaynaklı cihazlar için quantized modelleri ayrı pipeline ile yönetin.
• Model fallback stratejileri belirleyin: eğer quantized model degrade olursa floating‑point model ile fallback.

8. Sık Yapılan Hatalar

• Uygun calibration set kullanmamak: Rasgele veya küçük calibration set'ler yanlış scale hesaplamasına sebep olur.
• Doğruluk testlerini atlamak: Üretimde A/B testleri olmadan quantize edilmiş modeli direk deploy etmek risklidir.
• Runtime uyumsuzluğu: Dönüştürülen quantized modelin hedef runtime'da yeterli optimizasyonu yoksa performans beklenenden kötü olabilir.
• Aşırı agresif quantization: 3‑bit/4‑bit'e direkt geçiş büyük doğruluk düşüşüne yol açabilir; kademeli ve testli geçiş önerilir.

9. Gelecek Trendler

1. Automated quantization pipelines: MLOps araçlarının quantization adımlarını otomatikleştirmesi ve continuous optimization sağlaması bekleniyor.
2. Hybrid formats: Layer‑wise veya block‑wise heterojen precision teknikleri daha yaygın hale gelecek (ör. kritik katmanlar FP16, geri kalanı 4‑bit).
3. Hardware‑software co‑design: Yeni ASIC ve accelerator tasarımları quantization için native destek sunacak; bu da 1–2 bit seviyesine kadar pratik yaklaşımlar getirebilir.
4. Green AI ve sürdürülebilirlik: Enerji verimliliğini artıran quantization stratejileri kurumların karbon hedefleriyle uyumlu hale gelecek.

Ek Bölümler

Sık Sorulan Sorular (FAQ)

1. Quantization doğruluğu nasıl etkiler?

   Genel olarak düşük bit quantization doğruluğu düşürebilir; ancak per‑channel, blockwise ve QAT teknikleri ile bu kayıp büyük ölçüde azaltılabilir. Her model ve görev için ölçüm şarttır.

2. PTQ mi, QAT mı tercih etmeliyim?

   PTQ hızlı ve pratik çözümler sunar; eğer model kritik görevlerde kullanılıyorsa ve doğruluk çok önemliyse QAT tercih edilir.

3. 3‑bit quantization gerçekçi mi?

   Evet, bazı modern teknikler ile 3‑bit quantization LLM'lerde pratik hale geldi ancak özel yöntemler (GPTQ, AWQ) ve careful calibration gerekir.

4. Quantized model nasıl validasyonu yapılır?

   Shadow traffic, A/B testleri, offline benchmarklar ve end‑to‑end task metric'leri ile doğrulama yapılmalıdır.

5. Hangi araçlar quantization için uygundur?

   ONNX Runtime, TensorRT, Hugging Face Optimum, Intel Neural Compressor, PyTorch quantization toolbox ve özel araştırma araçları kullanılabilir.

6. Edge için ideal quantization seviyesi nedir?

   Mobil ve embedded cihazlar için 8‑bit genelde iyi bir denge sunar; daha agresif seviler cihaz kapasitesine ve uygulama toleransına bağlıdır.

7. Quantization ile birlikte distillation kullanmalı mıyım?

   Evet. Distillation ile küçük model eğitilip ardından quantize edilirse hem boyut hem doğruluk açısından iyi sonuçlar elde edilebilir.

8. Quantization maliyeti gerçekten düşürür mü?

   Evet. Hem bellek hem de hesaplama ihtiyacı azalır; cloud faturalarında ve donanım seçimlerinde anlamlı tasarruf sağlar.

Anahtar Kavramlar

Quantization

Model ağırlıkları/aktivasyonlarının daha düşük bit‑width ile temsil edilmesi.

PTQ

Post‑training quantization: eğitilmiş modele sonradan uygulanan quantization tekniği.

QAT

Quantization‑aware training: eğitim sırasında quantization etkilerini simüle ederek daha dayanıklı modeller üretme.

GPTQ / AWQ

LLM'lerde agresif quantization almak için geliştirilmiş özel yöntemler.

Öğrenme Yol Haritası

1. Temel: Python, linear algebra, numerik stabilite konuları.
2. Derin öğrenme: PyTorch veya TensorFlow, model ü