1. GİRİŞ

Yapay zekâ uygulamalarının üretime alınması, yalnızca model geliştirmekle sınırlı değildir; doğru mimari desenler, altyapı kararları ve operasyonel süreçler bir araya gelmelidir. "AI Architecture Patterns" başlığı, farklı uygulama ihtiyaçlarına göre tekrar edilebilir, ölçeklenebilir ve güvenli mimari yaklaşımları inceler. Günümüzün dağıtık sistemleri, mikroservis mimarileri, büyük veri platformları ve bulut‑native altyapılarında AI sistemleri farklı zorluklarla (latency, throughput, data governance, model drift) karşılaşır. Bu makale, mühendis bakış açısıyla gerçek dünya gereksinimlerine yanıt veren mimari kalıpları, avantaj‑dezavantajlarını ve uygulama ipuçlarını ele alır.

Bu teknoloji neden konuşuluyor?

• Foundation modellerin ve LLM'lerin altyapı gereksinimleri yüksek; doğru mimari seçim maliyet ve performansı doğrudan etkiler.
• Gerçek zamanlı uygulamalar, batch işlerden farklı olarak düşük gecikme ve tutarlılık talepleri getirir.
• Model yaşam döngüsü (MLOps) ve veri yönetimi konuları üretimdeki başarının anahtarlarıdır.

Kimler için önemli?

• Çözüm mimarları ve altyapı mühendisleri
• ML mühendisleri ve MLOps ekipleri
• Ürün sahipleri ve teknik yöneticiler
• Güvenlik, uyum ve veri yönetişimi ekipleri

Hangi problemleri çözüyor?

• Doğru kaynak tahsisiyle maliyet optimizasyonu
• Modelların ölçeklenebilir, güvenli ve sürdürülebilir üretime alınması
• Gecikme, veri tazeliği ve tutarlılık gereksinimlerine uygun çözümler

2. KAVRAMSAL TEMELLER

2.1 Temel kavramlar

• Model Serving: Eğitilmiş modelin istekleri yanıtlamak üzere üretimde çalıştırılması.
• Online vs Offline Inference: Gerçek zamanlı (request/response) veya batch tabanlı çıkarım.
• Feature Store: Model için offline ve online feature'ların merkezi yönetimi.
• RAG (Retrieval Augmented Generation): LLM'lerin dış veri kaynaklarından retrieval yaparak cevap üretmesi.
• Edge Inference: Modelin cihaz üzerinde çalıştırılması, gizlilik ve latency avantajı sağlar.

2.2 Mimari bileşenler

1. Data Ingestion & ETL
2. Feature Engineering & Feature Store
3. Model Training & Experimentation
4. Model Serving (online/batch/stream)
5. MLOps: CI/CD for models, monitoring, retraining
6. Governance: access control, lineage, explainability

2.3 Terminoloji

• Latency: İstek ile cevap arasındaki zaman.
• Throughput: Birim zamanda işlenen istek sayısı.
• SLO/SLI: Servis seviyesinin metriklerle tanımlanması (Service Level Objectives/Indicators).
• Model Drift: Eğitim verisi ile üretim verisi arasındaki dağılım farkı.

3. NASIL ÇALIŞIR?

3.1 Yaygın AI mimari desenleri

Monolithic ML Platform

Model geliştirme, eğitim ve serving tek bir platform veya uygulama içinde toplanır. Küçük ekipler ve PoC'ler için hızlı başlangıç sağlar. Dezavantajı; ölçeklenebilirlik, takım ayrımı ve bağımsız deploy zorluklarıdır.

Microservices + Model as a Service

Her model veya işlev mikroservis olarak paketlenir; servisler REST/gRPC üzerinden erişilir. Bu desen, bağımsız sürümleme, ölçekleme ve farklı teknoloji yığınının kullanımına olanak verir. Ancak operasyonel maliyet ve servis koordinasyonu artar.

Hybrid: Batch + Online (Lambda Architecture inspired)

Çevrim içinde iki yol vardır: batch ile yüksek doğruluklı fakat gecikmeli sonuçlar; online ile düşük latency ama daha az kapsamlı sonuçlar. Özellikle scoring ve dashboardlar için kullanışlıdır.

Edge‑Cloud Split

Latency veya gizlilik gereksinimleri varsa, bazı inference işlemleri cihazda (edge) yapılır; kompleks veya ağır modeller bulutta çalıştırılır. Model parçalama, quantization ve incremental updates gerektirir.

Foundation Model Integration (LLM / Multimodal)

Büyük ön‑eğitimli modellerin (LLM) entegrasyonu için RAG, prompt engineering ve caching katmanları gereklidir. Genelde bir retrieval katmanı ve istemci tarafında talep bazlı LLM çağrıları olur; bunun maliyet ve latency etkileri optimize edilmelidir.

3.2 Veri akışı örneği

Tipik bir request flow:

1. Client → API Gateway
2. Auth & Rate Limiting
3. Request routing → Online Feature Store lookup
4. Model inference (local cache veya remote model server)
5. Postprocessing → Response
6. Telemetry logging → Monitoring & Retraining triggers

3.3 MLOps ve Continuous Delivery for Models

MLOps, kod tabanlı CI/CD'nin ötesinde veri, model, metrik ve altyapı versiyonlamasını gerektirir. En az şunlar otomatikleştirilmelidir:

• Repeatable training pipelines (versioned datasets)
• Model evaluation & validation (unit tests, integration tests, fairness tests)
• Canary & shadow deployment (model A/B, blue/green)
• Automatic monitoring & retraining triggers (drift detectors)

4. GERÇEK DÜNYA KULLANIMLARI

Netflix — Scalable Recommendation Serving

Öneri sistemlerinde latency kritik olduğu için online feature store ve precomputed embeddings kullanılır. Hybrid desen—batch eğitimiyle offline güncellemeler ve online scoring—Netflix için tipiktir.

Uber — Real‑time Inference ve Decisioning

Uber gibi sistemlerde kararlar milisaniyeler içinde alınmalı. Bu sebeple mikroservis tabanlı scorer'lar, feature caches ve edge precomputation sıkça kullanılır.

Amazon — Foundation Models + RAG

Bilgi tabanlı cevaplar ve support otomasyonunda RAG desenleriyle LLM'ler kullanılır; büyük vektör DB, provenance ve source ranking bu uygulamalarda kritiktir.

OpenAI — Model Hosting ve API Architecture

Model hosting platformları tenant‑aware, rate‑limited ve usage‑metered API'ler sunar. Cache, prompt templates ve pre/post processors bunların verimliliğini arttırır.

Stripe — Risk Scoring Pipeline

Gerçek zamanlı fraud scoring için latency‑optimized model serving ve feature precomputation kullanılır. Maliyet‑performans dengesi için lightweight modeller ile heavy modeller birlikte çalışır.

5. AVANTAJLAR VE SINIRLAMALAR

Avantajlar

• Doğru desen seçimi ile maliyet ve performans optimizasyonu sağlanır.
• Modüler mimariler geliştirme hızını ve takım bağımsızlığını arttırır.
• Governance, monitoring ve retraining süreçleri iyileştirilirse model güvenilirliği artar.

Sınırlamalar

• Mimari karmaşıklık artar; operasyonel yetkinlik gerektirir.
• Foundation modellerin maliyet ve veri gereksinimleri yüksek olabilir.
• Edge dağıtım ve heterojen runtime yönetimi zorluklar doğurur.

6. ALTERNATİFLER VE KARŞILAŞTIRMA

7. EN İYİ PRATİKLER

Production kullanımı

• Canary ve shadow deployments ile yeni modelleri fragmentli trafik üzerinde doğrulayın.
• Model ve veri için versiyonlama, kayıt (registry) ve lineage takip mekanizmaları kurun.
• Provenance ve explainability metadata'sını model çıktısı ile birlikte saklayın.

Performans optimizasyonu

• Model distillation, quantization ve pruning ile inference hızını artırın.
• Cache mekanizmaları (response, embeddings) ve ANN ile retrieval maliyetini düşürün.
• Auto‑scaling ve request batching ile throughput yönetimi yapın.

Güvenlik

• Model ve dataset erişimini RBAC ile kontrol edin; sensitif verileri maskeleyin.
• Adversarial testler ve model hardening süreçlerini uygulayın.

Ölçeklenebilirlik

• Stateless servisler tasarlayın ve stateful bileşenleri (feature store, cache) ölçeklenebilir şekilde yönetin.
• Data partitioning ve geo‑replication stratejileri ile global kullanım için plan yapın.

8. SIK YAPILAN HATALAR

• Modeli tek başına optimize edip veri ve infra ihtiyaçlarını ihmal etmek.
• Canary veya shadow testleri atlamadan doğrudan full rollout yapmak.
• Feature store olmadan online ve offline inconsistency sorunlarını görmezden gelmek.
• Güvenlik, veri gizliliği ve compliant süreçleri prosesin sonuna bırakmak.

9. GELECEK TRENDLER

1. Model Mesh: Modelların servis‑mesh benzeri yönetildiği, discovery ve governance ile entegre yapılar yaygınlaşacak.
2. Foundation model orchestration: Maliyet, latency ve fayda optimizasyonu için otomatik model seçimi ve kompozisyon mekanizmaları gelişecek.
3. Edge federation ve privacy‑preserving inference: Model eğitimi ve inference'ın federated yaklaşımla veri gizliliğini koruyarak yapılması artacak.
4. Explainable & auditable pipelines: Regülasyon ve güven gereği çıktıların izlenebilirliği standartlaşacak.

EK BÖLÜMLER

Sık Sorulan Sorular (FAQ)

1. Hangi mimari pattern ile başlamalıyım?

   Öncelikle ihtiyaçlarınıza bakın: düşük ölçekli PoC için monolithic, ekip büyüdükçe microservices + model‑as‑service tercih edin. Kritikse hybrid batch+online desenini düşünün.

2. Foundation model entegrasyonu için neyi önceliklendirmeliyim?

   Cost control (quota, caching), prompt & retrieval optimizasyonu ve provenance (kaynak gösterimi) öncelikli olmalı.

3. Edge inference gerekli mi?

   Gecikme, bant genişliği veya gizlilik gereksinimleriniz varsa evet; yoksa bulut serving daha yönetilebilir olabilir.

4. Model drift'i nasıl tespit ederim?

   Feature distribution monitoring, prediction performance izleme ve shadow testing kombinasyonu ile tespit edilir.

5. Model serving için REST mi gRPC mi?

   gRPC düşük latency ve binary payload için avantajlı; ancak interoperability ve basitlik için REST hala yaygın. Kural: performans kritiği varsa gRPC düşünün.

6. RAG uygularken nelere dikkat etmeliyim?

   Vektör DB seçimi, source ranking, passage chunking, prompt engineering ve hallucination kontrolü önemlidir.

7. Feature store gerçekten gerekli mi?

   Birden fazla model ve online inference varsa gerekli; offline/online tutarlılığı ve yeniden kullanım sağlar.

8. AI mimarilerinde maliyeti nasıl kontrol ederim?

   Reserved instances, autoscaling, caching, model distillation, token/quota yönetimi ve usage‑based routing stratejileriyle maliyeti optimize edin.

Anahtar Kavramlar

Model Serving

Eğitilmiş modelin üretim ortamında istekleri yanıtlaması.

Feature Store

Model özelliklerinin offline/online tutarlılığını sağlayan merkezi yapı.

RAG

LLM'leri retrieval ile zenginleştirerek daha doğru ve güncel cevaplar üretme deseni.

Edge Inference

Modelin cihaz üzerinde çalıştırılması, latency ve gizlilik avantajları sağlar.

Model Drift

Üretim verisi ile eğitim verisi arasındaki sapma; performans düşüşüne sebep olur.

Öğrenme Yol Haritası

1. Dağıtık Sistemler ve Cloud Fundamentals: Containerization, orchestration (Kubernetes) ve cloud networking.
2. MLOps Temelleri: CI/CD for models, feature store, model registry, monitoring.
3. Serving & Inference Engineering: gRPC/REST serving, batching, quantization, distillation.
4. Retrieval & RAG: Vektör DB, ANN, prompt engineering ve provenance management.
5. Edge & On‑Device ML: Model compression, on‑device runtime, privacy preserving techniques.