1. Giriş

Yapay zekâ uygulamalarının ürünleştirilmesi (production) yalnızca iyi bir model eğitmekle bitmiyor — o modelleri güvenilir, ölçeklenebilir ve ekonomik şekilde çalıştıracak altyapı tasarımı kritik hale geliyor. AI Infrastructure (Yapay Zekâ Altyapısı) terimi, eğitimden inference'a, veri boru hatlarından izleme/observability'e, model versiyonlamadan güvenliğe kadar uzanan geniş bir alanı kapsar. Son yıllarda veri hacimleri, model boyutları (LLM, görsel modeller), gerçek‑zaman gereksinimleri ve maliyet baskıları arttıkça AI altyapısının tasarımı işletmeler için stratejik bir rekabet avantajı veya dezavantaj haline geldi.

Bu makalede mühendis ve mimar bakış açısıyla AI altyapısı tasarımını ele alıyoruz. Hedefimiz; ürün odaklı ekiplerin mimari kararlarını veriyle desteklemelerine yardımcı olacak, hem teorik hem pratik bilgiyi bir araya getiren bir referans sunmaktır. Okuduktan sonra şu sorulara net cevaplarınız olacak: Hangi iş yükü için hangi altyapı bileşeni uygundur? Eğitim ve inference için nasıl ayrı plan yapmalı? Observability ve güvenliği nasıl örgütlemeli? Maliyetleri nasıl kontrol etmelisiniz?

2. Kavramsal Temeller

Temel Kavramlar

• Training (Eğitim): Model parametrelerinin veriden öğrenildiği, genellikle GPU/TPU yoğun, uzun süreli batch işlemleri.
• Inference (Çıkarım): Eğitilmiş modelin üretim verisi üzerinde tahmin üretmesi; latency ve throughput gereksinimleriyle şekillenir.
• Feature Store: Eğitim ve servis aşamasında kullanılacak özelliklerin (features) merkezi depolanması ve tutarlılığını sağlayan sistem.
• Model Registry: Model artifact'lerinin versiyonlandığı, metadata, performans skorları ve deployment bilgilerini tutan depo.
• Data Lake / Data Warehouse: Ham ve işlenmiş verinin saklandığı, analitik ve yeniden eğitim için kullanılan katmanlar.

Tasarımsal İlkeler

• Separation of Concerns: Eğitim, batch scoring, streaming ve online serving katmanlarını ayrı tasarlayın.
• Heterojen Altyapı: CPU, GPU, TPU, ASIC gibi donanımları iş yüküne uygun şekilde kullanın.
• Reproducibility ve Lineage: Veri, kod, model parametreleri ve experiment metadata'sı kaydedilmeli.
• Observability: Metrikler, loglar, tracing ve model performans monitoring bir bütün olarak izlenmelidir.

3. Nasıl Çalışır?

Sistem Mimarisi — Yüksek Seviye

AI altyapısı genelde şu katmanlardan oluşur:

1. Data Ingestion & Storage: Log, event, batch data ve streaming kaynaklarının toplanması; Kafka, Kinesis, Pub/Sub, S3/Blob gibi bileşenler burada yer alır.
2. Feature Engineering Pipeline: Spark, Flink veya Beam tabanlı batch/stream işlemleri; feature store'a yazma.
3. Model Training Platform: Kubernetes, managed training services, distributed training (Horovod, PyTorch DDP) ve GPU/TPU provisioning.
4. Model Registry & CI/CD: Model artefact'lerinin saklanması, testler, canary rollout ve otomatik deploy süreçleri.
5. Serving Layer: Online inference (Triton, TorchServe, ONNX Runtime, serverless endpoints) ve batch scoring katmanı.
6. Observability & Governance: Telemetry, drift detection, data quality checks, audit ve cost monitoring.

Bileşenler Detaylı

Data Ingestion

Veri üretim sistemlerinden alınır ve yüksek dayanıklılıkla saklanır. Streaming veriler için düşük gecikmeli pipeline (Kafka, Pulsar), batch veriler için obje depoları (S3) kullanılır. Veri etiketleme ve annotation süreçleri de bu katmanın bir parçasıdır.

Feature Store

Feature store iki bölümde düşünülür: offline (batch) ve online (low latency). Offline özellikler eğitim için büyük veri kümelerinde hazırlanırken; online store (Redis, DynamoDB, Faiss) inference sırasında hızlı lookup sağlar. Tutarlılık (training/serving skew) burada kritik bir konudur.

Model Training

Dağıtık eğitim; veri paralelliği, model paralelliği ve hibrit stratejiler içerir. Eğitim cluster'ları genelde GPU/TPU abonelikleri veya bulut‑native managed training servisleriyle yürütülür. Experiment tracking (MLflow, Weights & Biases) ile hyperparametre ve sonuçlar kaydedilir.

Serving

Serving ortamı latency ve throughput hedeflerine göre tasarlanır. Online inference için düşük gecikmeli REST/gRPC endpoint'leri veya streaming inference (Kafka consumers) kullanılır. Batch scoring ise dönemsel skorlamalar veya toplu raporlamalar için planlanır.

CI/CD ve Model Ops

Model değişiklikleri kod değişiklikleri gibi ele alınmalı: unit test, integration test, performance test ve canary rollouts uygulanmalıdır. Model registry metadata (model dataset, metric, training code hash) otomatik olarak güncellenmelidir.

4. Gerçek Dünya Kullanimlari

Arama ve Öneri Sistemleri (Amazon, Netflix)

Bu sistemlerde geniş offline eğitilmiş modeller (user/item embeddings, candidate generation) ve düşük‑latency online modeller (re‑rank) birlikte çalışır. Feature store, embedding store ve cache katmanları kritik bileşenlerdir.

LLM servisleri (OpenAI, Anthropic, Azure OpenAI)

LLM'lerin çalıştırılması yüksek ölçek ve maliyet gerektirir. Genelde inference cluster'ları GPU/TPU ve model sharding kullanır, ayrıca prompt/response caching ve rate limiting ile maliyet kontrolü sağlarlar.

Fraud Detection (Stripe)

Gerçek‑zamanlı kararların kritik olduğu senaryolarda online modeller ve hızlı feature lookup kullanılır; batch analizler daha geniş risk modelleri sağlar.

Otonom Sistemler

Edge ve fog katmanları, sensör füzyonu ve lokal inferencelar ile düşük gecikme gereksinimlerini karşılar; bulut ise haritalama ve global model güncellemeleri için kullanılır.

5. Avantajlar ve Sınırlamalar

Avantajlar

• Esneklik: Doğru tasarlanmış altyapı eğitim ve inference gereksinimlerine göre ölçeklenebilir.
• Hızlı iterasyon: CI/CD ile modeller hızlıca test edilip üretime alınabilir.
• Kontrol ve Güvenlik: Şifreleme, erişim kontrolleri, audit logları ile compliance sağlanabilir.

Sınırlamalar

• Maliyet: Büyük GPU/TPU fleet'leri yüksek sabit maliyetler getirir; FinOps entegrasyonu şarttır.
• Karmaşıklık: Heterojen donanım, veri ve model lineage yönetimi operasyonel zorluk oluşturur.
• Veri Gizliliği ve Uyumluluk: Kişisel veri veya regüle veriler için ek önlemler gerekir; bulut/edge seçimleri etkilenir.

6. Alternatifler ve Karşılaştırma

7. En İyi Pratikler

Production Kullanımı

• Her katman için SLO/SLA tanımlayın: latency, availability, cost per request.
• Model registry ve reproducibility: her model versiyonuna dataset hash, code hash, commit bilgisi ekleyin.
• Canary ve shadow testing ile yeni modelleri küçük trafikte doğrulayın.

Performans ve Maliyet Optimizasyonu

• Model tiering: küçük, hızlı modeller ile ağır modelleri görevlendirerek maliyeti düşürün.
• Caching: sık tekrar eden sorguları cache'leyin; embedding/response cache ile token/compute maliyetini azaltın.
• Spot/Preemptible instance stratejileri: eğitim job'larında maliyet düşürmek için kullanın, ancak checkpointing uygulayın.

Güvenlik ve Uyumluluk

• Veri şifreleme hem transit hem at‑rest, erişim kontrolü ve IAM en iyi uygulamalarını uygulayın.
• Model explainability ve test kaynaklı bias kontrolleri uygulayın, özellikle regüle alanlarda.

Observability

• Model performansını canlı izleyin: latency histograms, error rates, prediction distribution.
• Drift detection: feature ve label distribution değişikliklerini izleyen otomatik uyarılar kurun.

8. Sık Yapılan Hatalar

• Tek bir metrikle karar vermek: Sadece throughput veya sadece latency'ye bakmak eksik karar demektir; cost ve user experience da hesaba katılmalı.
• Observability eksikliği: Model doğruluğu ve veri drift izlenmeden deploy edilen modeller risklidir.
• Model/version sprawl: Yönetilmeyen çok sayıda model versiyonu operational karmaşa yaratır.
• Güvensiz otomatik güncellemeler: OTA ve otomatik model deploylarda rollback mekanizması olmazsa servis kesintisine yol açar.

9. Gelecek Trendler

1. Hardware‑software co‑design: Derleyiciler ve accelerator'lar model yapısına göre otomatik optimizasyon yapacak.
2. Automated MLOps: Quantization, distillation, pruning adımlarının pipeline tarafından otomatik uygulanması yaygınlaşacak.
3. FinOps+MLOps entegrasyonu: Cost observability ve otomatik maliyet sınırları production süreçlerinin bir parçası olacak.
4. Privacy‑first architectures: Federated learning ve secure enclaves ile veri gizliliği sağlanacak.

Ek Bölümler

Sık Sorulan Sorular (FAQ)

1. AI altyapısına nereden başlamalıyım?

   Öncelikle iş gereksinimlerinizi netleştirin: latency hedefleri, veri hacmi, gizlilik kısıtları ve bütçe. Pilot bir pipeline (data ingestion → feature store → model training → serving) kurun ve gerçek verilerle test edin.

2. Cloud mu on‑prem mi tercih etmeliyim?

   Hacim, güvenlik, maliyet modeli ve operasyonel yetkinliklere bağlı. Hızlı prototip ve esneklik için cloud; veri gizliliği ve TCO avantajı için büyük ölçeklerde on‑prem düşünülebilir.

3. Feature store neden gerekli?

   Training/serving tutarlılığını sağlar; feature reuse, governance ve latency odaklı online lookup imkânı verir.

4. Model monitoring'de hangi metrikler önemlidir?

   Latency (p50/p95/p99), error rate, prediction distribution, input feature drift ve business KPI etkileri izlenmelidir.

5. Nasıl maliyet‑etkin ölçeklenir?

   Model tiering, spot instance kullanımı, batching, caching ve doğru autoscaling politikaları ile maliyetler kontrol altına alınır.

6. Model governance nasıl uygulanır?

   Model registry, veri lineage, audit log ve onay mekanizmaları (approval gates) ile model governance sağlanır.

7. Edge vs cloud kararını nasıl veririm?

   Latency, gizlilik, offline çalışma ve bant genişliği maliyetleri değerlendirilerek karar verin; genelde hybrid yaklaşım en pratik çözümdür.

8. AI altyapısı için hangi ekip rollerine ihtiyaç var?

   MLOps mühendisleri, veri mühendisleri, model mühendisleri, SRE/Platform mühendisleri ve FinOps/Cost yöneticileri gerekir.

Anahtar Kavramlar

Feature Store

Training ve serving için tutarlı feature erişimi sağlayan sistem.

Model Registry

Model artefact'lerinin versiyonlandığı depo ve metadata kataloğu.

Drift Detection

Veri veya model performansındaki sapmaları tespit etme.

Quantization / Distillation

Model footprint ve latency'yi azaltmak için kullanılan optimizasyon teknikleri.

Öğrenme Yol Haritası

1. Temel: Python, veri mühendisliği (SQL, ETL), temel ML kavramları.
2. Model: PyTorch/TensorFlow, distributed training, model optimization teknikleri.
3. Infra: Docker, Kubernetes, GPU/TPU provisioning, cloud services (AWS/GCP/Azure).
4. MLOps: Model registry, feature store, CI/CD, observability araçları.
5. FinOps: Cost monitoring, instance right‑sizing ve spot/commit management.