1. Giriş

AI ve makine öğrenimi iş yükleri, son yıllarda üretim sistemlerinin merkezine yerleşti. Model eğitimi, dağıtık eğitim, inference servisleri, embedding pipeline'ları ve veri işleme boru hatları; ölçeklenebilir, güvenilir ve maliyet etkin altyapılar gerektirir. Kubernetes (K8s) bu ihtiyaçlara esneklik, taşınabilirlik ve otomasyon sağlayan en yaygın platformlardan biridir. Ancak Kubernetes'in AI için getirdiği meydan okumalar ve dikkat edilmesi gereken özel noktalar vardır: GPU/TPU scheduling, bellek ve disk IO, ağ gecikmesi, node heterojenliği, veri yereliliği, güvenli model dağıtımı ve maliyet yönetimi gibi.

Bu makale, mühendis ve mimar perspektifinden Kubernetes ile AI iş yüklerinin nasıl tasarlanacağı, hangi bileşenlerin kritik olduğu, gerçek dünya örnekleri, avantaj/ dezavantaj analizleri ve üretim kullanımı için en iyi pratikleri detaylandırır. Hedef, K8s üzerinde AI uygulamaları kuracak ekiplerin uygulamaya geçmeden önce bilmesi gereken teknik bilgiyi sağlamaktır.

Bu konu neden konuşuluyor? Çünkü AI uygulamaları yalnızca modeli çalıştırmak değil; modelin yaşam döngüsü, veri hattı, ölçümlenebilirlik ve maliyet kontrolünü de kapsar. Kubernetes, bu katmanları entegre etme imkânı verirken doğru tasarım yapılmazsa maliyet ve operasyonel karmaşıklığı artırabilir.

2. Kavramsal Temeller

Kubernetes ve AI ile İlgili Temel Kavramlar

• Node türleri: CPU node'lar, GPU node'lar, hızlandırıcı destekli node'lar (NVIDIA, AMD, Google TPU) ve özel accelerator'lar.
• Device plugin: Kubernetes'in GPU/accelerator'ları keşfetmek ve paylaşmak için kullandığı eklentiler (NVIDIA device plugin vb.).
• Custom Resource Definitions (CRD): K8s üzerinde AI workflow yönetimi için özel kaynaklar (ör. Kubeflow, KServe CRD'leri).
• DaemonSet, Deployment, StatefulSet: Servis tipleri; eğitim jobları ve inference servisleri için farklı davranışlar gerektirir.
• Job ve CronJob: Batch eğitim, preprocessing ve periyodik görevler için kullanılır.
• Persistent Volume (PV) ve Persistent Volume Claim (PVC): Model artefaktları ve veri depolama için kalıcı diskler.
• Namespace, RBAC, NetworkPolicy: Çoklu ekip ve güvenlik için temel organizasyon ve izin mekanizmaları.

AI İş Yüklerinin Kategorileri

• Eğitim (Training): Genelde GPU/TPU gerektiren, uzun süren batch iş yükleri.
• Dağıtık Eğitim: Çoklu node ve GPU/TPU kullanımı, model paralelliği ihtiyaçları.
• Inference / Serving: Düşük gecikme (real‑time) veya yüksek throughput (batch) gerektiren servisler.
• Pre/Post Processing: Veri dönüşümleri, embedding hesaplama, devam eden batch görevler.
• Monitoring & Observability: Model metrikleri, günlükler, SLO/SLA izleme.

3. Nasıl Çalışır?

Sistem Mimarisi — Yüksek Seviye

Kubernetes üzerinde AI altyapısı tipik olarak şu bileşenleri içerir:

1. Control Plane: API server, scheduler, controller manager — kaynak planlama ve yaşam döngüsü yönetimi.
2. Compute Plane: CPU/GPU node'lar, device plugin'ler ve runtime (containerd/docker) Katmanı.
3. Storage: PV/PVC, distributed filesystem (Ceph, NFS), object storage (S3, GCS) ve cache (Redis, Memcached).
4. Networking: CNI (Calico, Flannel), service mesh (Istio) ve yüksek bant genişliği, düşük latency ağ topolojileri.
5. Orkestrasyon & Workflow: Kubeflow, KServe, Argo Workflows — eğitim, hyperparameter tuning, pipeline yönetimi.
6. Monitoring: Prometheus/Grafana, ELK/EFK, model performance monitoring (Evidently, WhyLogs).

GPU/Accelerator Yönetimi

Kubernetes, yerel olarak GPU kaynaklarını schedule eder ancak birkaç önemli yapılandırma gerektirir:

• Node etiketleme ve toleration ile GPU node'lara özel pod atamaları.
• Device plugin kurulumu (NVIDIA device plugin) ile container'larda GPU görünürlüğü.
• Resource limits/requests ayarı: doğru requests ile scheduler'ın uygun node'u seçmesi sağlanır.
• Binpack vs Spread stratejileri: GPU kullanımına göre düğümlerde yoğunlaştırma veya yayma kararları.

Veri Yereliliği ve Storage

AI iş yükleri genelde büyük veri setleri ile çalışır. Kubernetes ortamında veri yönetimi kritik noktadır:

• Local SSD: Eğitim node'larında yüksek I/O için local SSD kullanımı. Ancak local disk fail olursa veri kaybı riski vardır; checkpoint'ler uzak objeye (S3) yazılmalı.
• Distributed File System: Ceph veya NFS ile paylaşılan depolama, eğitim ve inference arasında veri paylaşımını kolaylaştırır.
• Object Storage: Model artefaktları ve checkpoint'ler için S3/GCS kullanımı — scalable ve dayanıklı.

Orkestrasyon ve Workflows

AI pipeline'ları için Kubeflow, Argo Workflows veya Airflow gibi araçlar kullanılır. Bu araçlar eğitim, değerlendirme, model paketleme ve deploy adımlarını kodlanabilir workflow'lara dönüştürür. Örneğin:

• Kubeflow Pipelines ile training→validation→model registry→serving adımlarını otomatikleştirme.
• Argo Workflows ile distributed training job'larını ve veri hazırlama job'larını yönetme.

4. Gerçek Dünya Kullanımları

Örnek: Video Analitiği Platformu

Kullanıcı senaryosu: Çok sayıda kamera akışı realtime analiz ediliyor. Mimari tipik olarak:

1. Edge->kafka ile stream toplama.
2. Stream processing (Flink/Kafka Streams) ile ön filtreleme.
3. Inference cluster (Kubernetes GPU node'lar) ile frame-level inference.
4. Sonuçlar cache ve OLAP depolarına yazılır.

Bu platformda K8s, inferencing için otomatik scaling, rolling update ve sürüm yönetimi sağlar.

Örnek: RAG / Retrieval Augmented Generation Pipeline

RAG uygulaması: embedding generation (batch), vector store (Milvus/Pinecone) ve LLM serving. Kubernetes üzerinde:

• Batch embedding job'ları CronJob veya Argo ile orchestrate edilir.
• Vector DB veya ANN servisi (Milvus, Faiss) K8s üzerinde veya managed servis olarak çalışır.
• LLM serving KServe veya Triton ile GPU node'larında konuşlandırılır. Autoscaling, request batching ve rate limiting uygulanır.

Örnek: Dağıtık Eğitim (Multi‑GPU, Multi‑Node)

Distributed training için Kubernetes üzerinde TFJob veya PyTorchJob CRD'leri kullanılabilir (Kubeflow veya KubeDirector). Önemli noktalar:

• Network performansı ve RDMA destekli altyapı.
• Scheduler ayarları ve node affinity ile GPU'ların aynı rack veya benzer topolojide olması.
• Persistent storage için checkpoint'lerin S3'e aktarılması.

5. Avantajlar ve Sınırlamalar

Avantajlar

• Taşınabilirlik: K8s, multi‑cloud ve on‑prem geçişlerinde tutarlı runtime sağlar.
• Otomasyon: Rolling update, canary deploy ve autoscaling ile operasyonel yük azalır.
• Ekosistem: Kubeflow, KServe, Argo, Prometheus gibi zengin araç zinciri AI iş yükleri için hazırdır.

Sınırlamalar

• Heterojen Donanım Yönetimi: Farklı GPU/TPU tipleri ve sürücü uyumluluğu yönetimi karmaşık olabilir.
• Network ve I/O Darboğazları: Yetersiz ağ tasarımı performansı sınırlar; yüksek bant genişliği gerektiren eğitim senaryolarında ekstra planlama gerekir.
• Operasyonel Karmaşıklık: K8s’in esnekliği konfigürasyon karmaşıklığını beraberinde getirir; FinOps ve SRE süreçleri zorunludur.

6. Alternatifler ve Karşılaştırma

7. En İyi Pratikler

Production Kullanımı

• İzole namespace'ler: Ekip ve ortam (dev/stage/prod) izolasyonu için namespace, resource quota ve RBAC politikalarını kullanın.
• Model Registry & Artifact Storage: Her deploy için model metadata, checksum ve lineage tutun.
• Canary ve Shadow Deploy: Yeni model versiyonlarını küçük trafik ile doğrulayın.

Performans Optimizasyonu

• Node pool segregasyonu: GPU ve CPU iş yükleri için ayrı node pool'lar kullanın; taint/toleration ile pod atamasını kontrol edin.
• Request/Limit tuning: Pod kaynak taleplerini gerçek world trace'lerine göre belirleyin; overcommit yaparken dikkatli olun.
• Batching & Autoscaling: Inference için request batching ve horizontal/vertical autoscaling kombinasyonlarını deneyin.

Güvenlik

• K8s RBAC, network policy, pod security policies ve image signing kullanın.
• Model artefaktlarını imzalayın ve doğrulayın; OTA model güncellemelerini güvenli kanallardan yapın.

Observability

• Prometheus ile node ve GPU metriklerini toplayın; model performansı için özel exporter'lar kullanın.
• Prediction drift ve input distribution değişimlerini izleyin; otomatik alert kurun.

8. Sık Yapılan Hatalar

• GPU node'larını CPU gibi kullanmak: GPU'lar doğru schedule edilmezse verimsiz kaynak kullanımı olur.
• Data locality'i göz ardı etmek: Büyük veri setleri ağ üzerinden sık taşınırsa I/O maliyeti ve latency artar.
• Eksik monitoring: GPU memory fragmentation, temperature veya p99 latency gözlemlenmediğinde prod sürprizleri olur.
• Tekrar eden image rebuild: Her deployda büyük image'ları tekrar çekmek yerine katmanlı ve küçük image stratejileri kullanın.

9. Gelecek Trendler

1. GPU scheduling optimizasyonları: Scheduler seviyesinde latency ve throughput’u birlikte optimize eden smarter scheduling algoritmaları yaygınlaşacak.
2. Serverless GPU: Cold start ve maliyet problemlerini azaltan serverless GPU çözümleri olgunlaşacak.
3. Hardware‑aware orchestration: Scheduler'lar donanım yeteneklerini (tensor cores, memory bandwidth) dikkate alacak ve runtime'ları otomatik seçecek.
4. Edge‑to‑Cloud hybrid orchestrators: Hibrit AI uygulamalarını tek bir orkestrasyon yüzeyi altında yöneten çözümler artacak.

Ek Bölümler

Sık Sorulan Sorular (FAQ)

1. GPU node'larını Kubernetes'e nasıl eklerim?

   Öncelikle node üzerinde gerekli sürücüler ve container runtime (NVIDIA driver, containerd/dockerd) kurulur, ardından NVIDIA device plugin kurulup K8s'e register edilir. Node etiketleme ile scheduler kuralları oluşturulur.

2. Kubernetes üzerinde dağıtık eğitim nasıl yapılır?

   Kubeflow TFJob/PyTorchJob veya MPIJob CRD'leri ile distributed training orchestrate edebilirsiniz. Ayrıca DeepSpeed/ZeRO veya Horovod gibi framework'ler network ve checkpoint stratejileri ile birlikte kullanılır.

3. Inference için Triton mı KServe mi tercih edilmeli?

   Triton yüksek performanslı, yoğun GPU kullanımı olan senaryolar için uygundur; KServe ise K8s native model serving, autoscaling ve tool entegrasyonları açısından daha entegre bir çözümdür.

4. Model artefaktları nerede saklanmalı?

   Checkpoint ve modeller için object storage (S3/GCS) önerilir; deploy paketleri ve container image'ları için registry (Harbor, ECR, GCR) kullanın.

5. GPU maliyetlerini nasıl optimize ederim?

   Spot/Preemptible instance kullanımı, batch scheduling, node pooling ve model tiering ile maliyetleri azaltabilirsiniz. Ayrıca request batching ile GPU throughput artırılabilir.

6. Veri güvenliği için hangi önlemler alınmalı?

   Encryption in transit/at rest, IAM, network policy, pod security ve model artefakt imzalama uygulanmalıdır.

7. On‑prem ve cloud hybrid nasıl yönetilir?

   Bir kontrol düzlemi ile politikalar, CI/CD ve image yönetimi ortak tutulabilir; veri yereliliği ve latency gereksinimlerine göre iş yükü dağıtılır.

8. Kubernetes yerine managed platform kullanmalı mıyım?

   Kaynak ve uzmanlık sınırlıysa managed AI platformlar hızlı başlangıç sağlar. Ancak özelleştirme, maliyet ve vendor‑lock trade‑off'larını değerlendirin.

Anahtar Kavramlar

Device Plugin

GPU veya hızlandırıcıların Kubernetes tarafından kullanılabilmesini sağlayan eklenti.

KServe

Kubernetes üzerinde model serving için kullanılan açık kaynak çözüm.

Kubeflow

AI workflow ve pipeline'ları yönetmek üzere K8s için tasarlanmış toolkit.

ZeRO

Optimizer state ve gradient'leri shard ederek bellek verimliliği sağlayan teknik.

Öğrenme Yol Haritası

1. Temel: Kubernetes kavramları (pods, deployments, services), container temelleri.
2. AI stack: PyTorch/TensorFlow temelleri ve model packaging.
3. GPU & Accelerator: NVIDIA driver, device plugin, CUDA ve cuDNN bilgisi.
4. Orkestrasyon araçları: Kubeflow, Argo Workflows, KServe ve Helm.
5. Observability: Prometheus, Grafana, ELK ve model monitoring araçları.
6. Pratik: Multi‑node training, inference deployment, canary rollout ve autoscaling testleri.