#9212 AI Gateway & Model Routing Engineering Eğitimi | Vebende Akademi Müfredata Doğrudan Geç
🏷️ KOD: #9212 KURUMSAL UZMANLIK EĞİTİMİ

AI Gateway & Model Routing Engineering

AI Gateway & Model Routing Engineering alanındaki temel ve ileri düzey yetkinlikleri kapsayan, 8 modül ve yoğun uygulamalı laboratuvarlarla desteklenmiş kurumsal uzmanlık eğitimi.

Öğren › Uygula › Üret › Code Review › Proje › Kanıtla › Yetkinlik
KURUMSAL MİMARİ & STRATEJİK YETKİNLİK

#9212 AI Gateway & Model Routing Engineering Nedir ve Kurumunuza Ne Kazandırır?

#9212 AI Gateway & Model Routing Engineering, modern kurumsal yazılım ve bilişim süreçlerinde problem çözme mantığını ve güçlü bir mühendislik refleksini inşa eden 40 Saat (2 Ay / 8 Hafta) süreli uygulamalı bir yetkinlik geliştirme programıdır. Ekiplerin yalnızca araçları tanımasını değil; kurumsal standartlarda temiz, test edilebilir ve sürdürülebilir sistemler üretebilmesini hedefler.

MİMARİ DERİNLİK

Teknik Yetkinlik & Standartlar

Eğitim süresince büyük dil modelleri (LLM), RAG mimarileri, vektör veritabanları, prompt optimizasyonu, otonom yapay zeka ajanları ve MLOps üretim boru hatları hands-on laboratuvarlarla incelenir.

SOMUT ÇIKTI & GÜVENCE

Kurumsal Değer & Kanıt

Ekiplerin yüzeysel ezberin ötesine geçerek endüstri standardı ve üretime hazır kod tabanları oluşturmasını sağlar. 16 laboratuvar ödevi, birebir mimari inceleme (Code Review) ve 3 gerçek dünya bitirme projesiyle yetkinlik somut olarak kanıtlanır ve görünür hale gelir.

Süre
40 Saat (2 Ay / 8 Hafta)
VBK
2 VBK
Seviye
Orta Seviye
Ödevler & 2. Seviye Bröve
16 Ödev (Haftada 2 uygulamalı laboratuvar). Tamamlanması ve eğitmen onayı alması halinde 2. Seviye Bröve kazanılır.
Projeler & 3. Seviye Bröve
Eğitim sonunda 3 Kapsamlı Bitirme Projesi yer alır. 3. Seviye Uzmanlık Brövesi için onaylatılması zorunludur.
Kariyer & Yetkinlik Oturumu
Katılımcı, kıdemli eğitmenimizle kişiye özel 1 saatlik kapsamlı teknik kariyer ve mimarlık oturumu gerçekleştirir.

Eğitim Yol Haritası (5 Temel Aşama)

01
Mimari Temeller & Tasarım
→
02
Çekirdek Bilişim Pratikleri
→
03
İleri Düzey Yetkinlikler
→
04
Sorun Giderme & Optimizasyon
→
05
Kurumsal Entegrasyon
📖 1) Eğitim Tanıtımı

Kurumsal sistemlerin arkasında çalışan çoklu yapay zekâ ve büyük dil modellerine (LLM) giden API isteklerini tek bir merkezi kapıdan yönetmeyi, yük dengelemeyi (load balancing), dinamik yönlendirmeyi ve güvenlik katmanlarını optimize etmeyi hedefleyen bu ileri düzey uzmanlık eğitimi, yapay zekâ ağ geçitleri (AI Gateway) üzerinden akıllı model yönlendirme (model routing) mimarileri inşa etmenin en modern sistem tasarımı ve siber altyapı metodolojilerini sunmaktadır.

🎯 2) Kariyer & Uzmanlık Hedefleri
  • •AI Gateway & Model Routing Engineering alanında derinlemesine uzmanlaşarak yapay zeka projelerine teknik liderlik etmek isteyenler
  • •Üretken yapay zeka modellerini, RAG sistemlerini ve otonom AI ajanlarını kurumsal mimarilere entegre edenler
  • •Model kalitesi, halüsinasyon engelleme ve MLOps boru hatlarını üretim ortamında yönetmeyi hedefleyenler
  • •EU AI Act ve ISO 42001 çerçevesinde güvenli ve sorumlu yapay zeka standartlarını uygulayanlar
  • •Yapay zeka odaklı kariyerinde üst düzey mühendislik ve çözüm mimarlığı rolleri hedefleyenler
👥 3) Katılımcı Rol & Altyapısı
  • •Yazılım ve Çözüm Mimarları (Software & Solution Architects)
  • •Yapay Zeka ve Büyük Dil Modelleri (AI / LLM) Geliştiricileri
  • •Veri Bilimi - Makine Öğrenmesi ve MLOps (Data / ML / MLOps) Uzmanları
  • •DevOps ve Bulut (Cloud / SRE) Mühendisleri
🏛️ Eğitimin 6 Stratejik Yetkinlik ve Odak Alanı

Programımız; kurumsal yetkinlik ve mühendislik kalitesinin tüm kritik katmanlarını kapsayan 6 stratejik yetkinlik sütunu üzerine inşa edilmiştir.

01

Çekirdek Mimari & Protokol Derinliği

Yüzeysel araç kullanımının ötesine geçerek sistemin iç mekanizmasını, protokollerini ve bellek düzeyindeki çalışma mantığını kavrama.

Mimariİç MekanizmaStandartlar
02

Gelişmiş Mühendislik Pratikleri

Endüstri standartlarında temiz, test edilebilir ve modüler yapılar inşa ederek teknik borcu minimize eden tasarım kalıpları.

Clean CodeModülerlikEn İyi Uygulamalar
03

Sorun Giderme & Teşhis

Kritik üretim ortamlarında karşılaşılan karmaşık arızaları, darboğazları ve kilitlenmeleri metodolojik kök neden analiziyle çözme.

TroubleshootingRoot CauseTanılama
04

Performans & Kaynak Tuning

Sistem kaynaklarını (CPU, RAM, I/O, Ağ) en verimli şekilde kullanarak gecikmeyi düşüren ve işlem kapasitesini artıran optimizasyon.

OptimizasyonTuningYüksek Verim
05

Kurumsal Güvenlik & Savunma

Sıfır Güven (Zero Trust) felsefesi, zafiyet yönetimi ve sıkılaştırma (Hardening) ilkeleriyle kurumsal altyapıyı koruma altına alma.

SıkılaştırmaZero TrustSavunma
06

Üretim Ortamına Hazır Operasyon

Kurumsal ekosistemlere sıfır sürtünmeyle entegre olabilen, izlenebilir ve felaket kurtarma senaryolarına tam dayanıklı sistemler.

GözlemlenebilirlikDayanıklılıkSüreklilik
🏆 3 Kapsamlı Bitirme Projesi (3. Seviye Bröve Kazanımı)

Katılımcılar, eğitim sonunda portföylerine ekleyebilecekleri ve kurumlarında doğrudan şablon olarak kullanabilecekleri 3 gerçek dünya projesi geliştirirler.

BİTİRME PROJESİ 1

Bitirme Projesi 1: eBPF-Based Gateway Socket Profiling Agent (py-ebpf-gateway-profiling)

Bu bitirme projesi, bulut yerel altyapı yönetimi ve siber güvenlik standartlarından olan Observability, Logging ve AI Trafik Analitiği (OpenTelemetry), Güvenlik, Kimlik Doğrulama ve Policy Enforcement (Sensitive Data Detection) ve eBPF ile Gateway TCP Trafik Analizi (eBPF-Based Gateway socket profiling) disiplinlerini kapsar. Katılımcıların, AI Gateway'e gelen ham TCP soket bağlantılarını ve veri akışlarını kernel seviyesinde eBPF ile sızıntılara karşı izleyen (eBPF ile Gateway TCP Trafik Analizi / Gateway Altyapısı Kaos Testleri) ve anormal disk I/O veya unauthorized prompt drift/readout girişimleri algılandığında proxy/gateway process'ini otonom signal kill ile engelleyen veya alert bildiren, SQLite tabanlı system log trace audit log arşivi tutan Python tabanlı bir eBPF-Based Gateway Socket Profiling Agent geliştirmesi amaçlanmaktadır.

Kurumsal AltyapıCanlı Senaryo
BİTİRME PROJESİ 2

Bitirme Projesi 2: Green AI Gateway Routing & FinOps Optimizer (py-green-gateway-routing)

Bu bitirme projesi, modern büyük ölçekli platform mimarileri ve yeşil BT (Green IT) bütçeleme standartlarından olan Model Routing Stratejileri ve Karvar Mekanizmaları (Cost-based Routing), Rate Limit, Quota, Cost Tracking ve Budget Control (Token Kotası Yönetimi) ve Sürdürülebilir Karbon Duyarlı Routing (Green AI Gateway Routing) disiplinlerini kapsar. Katılımcıların, acil olmayan büyük özetleme ve analiz isteklerini, bulut veri merkezlerinin yeşil enerji oranına göre otonom zamanlayıp yönlendiren (Sürdürülebilir Karbon Duyarlı Routing), kurtarılan enerji tasarrufu ve kaynak maliyetlerini bulut FinOps FOCUS standartlarında fatura bütçeleyen ve yeşil scheduling kurallarını işleten Python tabanlı bir Green AI Gateway Routing & FinOps Optimizer geliştirmesi amaçlanmaktadır.

OptimizasyonMimari Güvenlik
BİTİRME PROJESİ 3

Bitirme Projesi 3: Gateway Routing OPA Validation Gateway (py-gateway-opa-validation)

Bu bitirme projesi, siber güvenlik mimarileri ve altyapı otomasyonu yönetişiminden olan AI Gateway Mimarisi ve Bileşenleri (Multi-tenant AI Gateway), Güvenlik, Kimlik Doğrulama ve Policy Enforcement (Role-based model access) ve Yönlendirme Kararlarında OPA Denetimi (Gateway Routing OPA Validation) disiplinlerini kapsar. Katılımcıların, Gateway yönlendirme kararlarının ve kullanıcı isteklerinin, şirket veri güvenliği kurallarına uygunluğunun OPA ile anlık denetlenmesini sağlayan (Yönlendirme Kararlarında OPA Denetimi), JSON/YAML deployment payload'larındaki hassas credential verilerini maskleyen (PII Data Redaction & Masking) ve structured logs Loki'ye push eden Python tabanlı bir Gateway Routing OPA Validation Gateway geliştirmesi amaçlanmaktadır.

Production-Ready3. Seviye Bröve
Kurumsal Satın Alma & L&D Çözüm Paneli SINIF BAZLI SABİT BÜTÇE AVANTAJI

Kurumlar ve Satın Alma Departmanları İçin Neden Bu Eğitim Vazgeçilmezdir?

Geleneksel bireysel eğitimlerin aksine Vebende Akademi, kurumların operasyonel sürekliliğini, yazılım mimarisi güvenliğini ve bütçe verimliliğini esas alır. Tuncer KARAARSLAN'ın 35 yılı aşan bilgisayar mühendisliği ve 25 yılı aşkın uluslararası teknoloji eğitmenliği birikimiyle sunulan bu program; teorik anlatım yerine kurumunuzun gerçek iş süreçlerine doğrudan etki eden ölçülebilir çıktılar üretir.

🏢 Sınıf Başı Sabit Fiyat

Fiyatlandırma kişi başı değil, sınıf fiyatıdır. Ekibinizden 5 veya 15 kişi katılsın, bütçeniz değişmez; kişi başına düşen maliyet sektördeki en avantajlı kurumsal seviyeye iner.

⚡ %60 Daha Hızlı Onboarding

Yeni işe başlayan veya farklı teknolojilerden geçiş yapan mühendislerin kurumsal kod ve mimari standartlarına hızla uyum sağlamasını ve üretime katkı verme süresini kısaltır.

🛡️ Sıfır Teknik Borç & Kalite

Spagetti kod ve kontrolsüz altyapı yerine endüstri standardı mimari yaklaşımlar öğretilir. Güvenlik açıkları ve teknik borç birikimi ilk günden engellenir.

📊 Yönetici Takip Raporu

Eğitim süresince her katılımcının laboratuvar ödevleri, GitHub pratikleri ve bitirme projeleri şeffaf bir yetkinlik karnesi olarak yönetiminize raporlanır.

🎯 Format Seçenekleri: Şirket İçi Kapalı Sınıf (Online Zoom/Teams, Müşteri Lokasyonunda On-Site veya Hibrit) | 40 Saat (2 Ay / 8 Hafta)
8 Modüllük Kapsamlı Kurumsal Mühendislik Müfredatı (40 Saat (2 Ay / 8 Hafta))

Dünya çapında önde gelen 24+ platform (Coursera, edX, O'Reilly, Pluralsight, MIT vb.) ve 17+ kariyer portalının son 3 yıllık iş ilanı verileri konsolide edilerek yapılandırılmış, sıfırdan kurumsal mimariye uzanan 8 uygulamalı modül.

Toplam 40 Saat (2 Ay / 8 Hafta) (8 Modül) Giriş Seviyesi (0 Modül) Orta Seviye (1 Modül) İleri Seviye (7 Modül) 24 Hands-on Lab & 3 Bitirme Projesi

AI Gateway Nedir ve Neden Gerekli?
  • Klasik API Gateway (Kong, Apigee, AWS API GW) HTTP trafiğini yönetirken, AI Gateway prompt semantiklerini, token sayılarını, model yeteneklerini ve maliyet vektörlerini anlayan bir akıllı proxy katmanıdır.
  • Kurumsal mimaride "AI Traffic Control Tower" konumunu alır; Shadow IT (gölge BT) engellenir, merkezi gobernans sağlanır.
API Gateway, Service Mesh ve AI Gateway Farkları
  • Service Mesh (Istio/Linkerd) L4/L7 ağ trafiğini yönetir; AI Gateway ise Application Layer (L7+)'de "Model Context" (System Prompt, Tool Definitions, Token Budget) yönetir.
  • Farklı sağlayıcıların (OpenAI vs Anthropic) API şema farklarını (Chat Completions vs Messages API) Request/Response Normalization ile maskeleyerek client kodunu sağlayıcıdan bağımsız hale getirir.
Model Sağlayıcı Bağımlılığı ve Vendor Lock-in Riskleri
  • Uygulama koduna `openai.ChatCompletion.create()` gibi SDK'ların doğrudan gömülmesi, fiyat artışlarında, SLA düşüşlerinde veya yeni model çıkışında (örn: GPT-5, Claude 4) tüm mikro servislerin yeniden deploy edilmesini zorunlu kılar.
  • AI Gateway, Provider Adapter Pattern ile bu bağımlılığı kırar; yeni model entegrasyonu gateway konfigürasyonu ile saniyelerde yapılır.
Çoklu Model Sağlayıcı Mimarisi ve Trafik Yönetimi
  • Prompt karmaşıklığına, maliyet bütçesine, gecikme toleransına ve veri gizliliği sınıflandırmasına (PII vs Public) göre trafiğin OpenAI GPT-4o, Azure OpenAI, Local Llama-3 (vLLM/Ollama), Anthropic Claude 3.5 Sonnet arasında nasıl dağıtılacağını stratejik olarak planlama.
  • Uygulama:
  • Senaryo:5 farklı mikro servisin (CRM, Destek Botu, Kod Asistanı, Raporlama, Arama) doğrudan 3 farklı LLM sağlayıcısını nasıl çağırdığını gösteren "Spaghetti Architecture" diyagramı çizimi.
  • Çözüm:AI Gateway ekleyerek "Hub-Spoke" mimarisine dönüştürme; tek bir `POST /v1/chat/completions` endpoint'i ile tüm trafiğin nasıl merkeze toplandığını Kubernetes Deployment/Service/Ingress manifesleri ile modelleme.
Uygulamalı Laboratuvar & Hands-on Atölye:
  • Basit bir AI servis mimarisinin gateway öncesi ve sonrası tasarlanması
  • Model sağlayıcılarına doğrudan erişim ile gateway üzerinden erişimin karşılaştırılması
Kurumsal ve Mühendislik Kazanımı:

Katılımcılar bu modülde AI Gateway Kavramı ve Kurumsal İhtiyaçlar konusunu kurumsal mühendislik standartlarında kavramış ve sahada uygulanabilir pratik refleksler kazanmış olurlar.

İşlenen Anahtarlar: Basit Yönlendirme (Static Model Routing) Talep Sınırı Kontrolü (Gateway Rate Limiting)

Maliyet Odaklı Yönlendirme (Cost-based Routing) ve Token Bütçeleme
  • Input/Output token fiyat farklarını (örn:GPT-4o $5/$15 vs Haiku $0.25/$1.25 per 1M) hesaplayan Cost Calculator bileşeni.
  • "Basit özetleme -> Haiku / Karmaşık mantık -> Opus/Sonnet" karar ağacı tasarımı. `max_tokens` parametresi ile maliyet tetikleyicisi (circuit breaker) koyma.
Model Fallback, Retry ve Failover Zincirleri
  • Primary -> Secondary -> Tertiary:zinciri tasarımı. Örn: `vLLM (Local) -> Azure OpenAI (PTU) -> OpenAI (On-Demand)`.
  • Hata tiplerine göre (429 Rate Limit, 503 Overloaded, 400 Context Length, 500 Internal) farklı retry/backoff (exponential jitter) ve fallback stratejileri.
  • Streaming Response:sırasında ortada hata alındığında (örn: token 500'de connection reset), client'a nasıl "graceful degradation" mesajı verileceği veya ikinci modele nasıl "cold start" atılacağı.
  • Uygulama:
  • Routing Matrix Oluşturma:Excel/YAML tabanlı bir "Routing Policy DSL" tasarlama. `match: { intent: "coding", complexity: "high" } -> target: "deepseek-coder-33b-instruct (local)"`.
  • Handson:Python/Go ile basit bir Routing Engine yazma: Prompt alır, heuristik (uzunluk, anahtar kelime) veya embedding ile skorlar, hedef provider adapter'ını çağırır, fallback dener.
Uygulamalı Laboratuvar & Hands-on Atölye:
  • Farklı model sağlayıcıları için routing matrisi oluşturma
  • “Ucuz model önce, başarısız olursa güçlü modele geç” senaryosu tasarlama
Kurumsal ve Mühendislik Kazanımı:

Katılımcılar bu modülde Model Routing Stratejileri ve Karar Mekanizmaları konusunu kurumsal mühendislik standartlarında kavramış ve sahada uygulanabilir pratik refleksler kazanmış olurlar.

İşlenen Anahtarlar: Merkezi Loglama Altyapısı (Centralized LLM Logging) Yerel Model Geçit Testleri (Local Gateway Setup)

Provider Adapter Katanyı Tasarımı (Hexagonal Architecture)
  • Ports & Adapters mimarisi ile `ModelProvider` interface'i:`chat_completion(req), embeddings(req), list_models()`.
  • Her sağlayıcı için (OpenAIAdapter, AzureAdapter, VertexAIAdapter, OllamaAdapter, TritonAdapter) ayrı modül; streaming (SSE) ve tool calling (function calling) standartlaştırma.
Stateful vs Stateless Gateway ve Streaming Yönetimi
  • Stateless:Yatay ölçeklenebilirlik (HPA) için tercih edilir. Session affinity (sticky session) gerekmez.
  • Stateful (Session/Context Cache):Conversation history, RAG context window yönetimi için Redis/Valkey backed state store.
  • Streaming (SSE/Chunked Transfer):Gateway'in upstream'den gelen chunk'ları downstream'a proxylerken token counting, PII masking, cost accumulation yapabilmesi için Stream Interceptor pattern'i.
  • Uygulama:
  • Mimari Çizim:Mermaid/C4 Model (Container Diagram) ile AI Gateway referans mimarisi çizimi. Bounded Context'ler: Gateway Core, Admin API, Policy Store, Metrics Exporter.
  • Kodlama:Go/Rust/Node.js ile `Provider Adapter` arayüzünü implemente eden `OllamaAdapter` ve `OpenAIAdapter` yazma. Request normalization (OpenAI -> Ollama `/api/chat` format dönüşümü) ve Response normalization (Ollama -> OpenAI `choices[0].message.content` formatı) testleri.
Uygulamalı Laboratuvar & Hands-on Atölye:
  • Kurumsal AI Gateway referans mimarisi çizimi
  • Provider adapter yapısının tasarlanması
Kurumsal ve Mühendislik Kazanımı:

Katılımcılar bu modülde AI Gateway Mimarisi ve Bileşenleri konusunu kurumsal mühendislik standartlarında kavramış ve sahada uygulanabilir pratik refleksler kazanmış olurlar.

İşlenen Anahtarlar: Ağ Geçidi Gecikme Payı (Gateway Overhead) Prompt Güvenlik Duvarı (Prompt Security Filter)

Kimlik ve Erişim Yönetimi (IAM) Entegrasyonu
  • OAuth2/OIDC:Keycloak, Auth0, Entra ID (Azure AD) ile entegrasyon. JWT `claims` (roles, groups, tenant_id, cost_center) gateway'e geçişte header olarak enjekte edilmesi.
  • mTLS (Zero Trust):SPIFFE/SPIRE ile workload identity. Gateway -> Local vLLM pod arası şifreli ve kimlik doğrulamalı bağlantı.
Prompt Injection ve Jailbreak Savunması (Input Guardrails)
  • Heuristik/Regex:`ignore previous instructions`, `system prompt` sızıntısı denemeleri.
  • ML-Based Detection:`deberta-v3-base-injection` veya `Lakera Guard` / `NVIDIA NeMo Guardrails` entegrasyonu. Prompt'u sınıflandırıp `BLOCK` / `SANITIZE` / `ALLOW` kararları.
  • System Prompt Isolation:Kullanıcı prompt'unun `system` rolüne enjekte edilmesini engelleme, gateway seviyesinde `system_prompt` enjeksiyonu (tenant bazlı).
Hassas Veri Koruması (PII/PHI/PCI) ve DLP
  • Presidio / Microsoft Presidio / AWS Comprehend / Google DLP:entegrasyonu.
  • Masking Strategies:`REDACT` (silme), `PSEUDONYMIZE` (sahte veri ile değiştirme - Faker lib), `HASH` (SHA256).
  • Response Sanitization:Modelin çıktığında ürettiği sahte PII'lerin (hallucinated PII) tespiti ve maskelemesi.
Role-Based Model Access (RBAC/ABAC)
  • `Finance Team` -> Sadece `Azure OpenAI (EU Region, Data Residency)` erişebilir.
  • `R&D Team` -> `Local Llama-3-70B (Air-gapped)` + `Anthropic Claude` erişebilir.
  • `Intern` -> Sadece `Haiku / Local 7B` modelleri, günde 10k token kota.
  • Uygulama:
  • Senaryo:Bir müşteri destek botuna gönderilen "TC Kimlik No: 123... Kredi Kartı: 456..." içeren prompt'un gateway loglarında maskeleyerek (PII Redaction) upstream'e gitmesini sağlama.
  • Policy Yazımı:OPA Rego dili ile `deny { input.model == "gpt-4o"; not input.user.roles["senior_engineer"] }` politikası yazma ve Gateway'e entegre etme.
Uygulamalı Laboratuvar & Hands-on Atölye:
  • Kullanıcı rolüne göre model erişim politikası tasarlama
  • Hassas veri içeren promptların gateway üzerinde maskeleme senaryosu
Kurumsal ve Mühendislik Kazanımı:

Katılımcılar bu modülde Güvenlik, Kimlik Doğrulama ve Policy Enforcement konusunu kurumsal mühendislik standartlarında kavramış ve sahada uygulanabilir pratik refleksler kazanmış olurlar.

İşlenen Anahtarlar: Hassas Veri Maskeleme Süzgeci (PII Redaction in Gateway) A/B Test ve Canary Trafik Yönlendirme (Traffic Splitting in Gateway)

Token Bazlı Maliyet Hesaplama ve Gerçek Zamanlı Faturalandırma (Showback/Chargeback)
  • Token Counter:`tiktoken` (OpenAI), `transformers` tokenizer (Local/HF) kullanarak request/response'ta input/output/cached token sayısını hassas hesaplama.
  • Pricing Engine:Provider bazlı, model bazlı, region bazlı (Azure PTU vs On-Demand), zaman bazlı (gece indirimi) fiyat listelerini (JSON/DB) tutan ve `cost = f(input_tokens, output_tokens, model, provider)` fonksiyonunu çalıştıran modül.
Hiyerarşik Kota Yönetimi (Hierarchical Quotas)
  • Seviyeler:Global (Kurum) -> Department (Pazarlama, IT, Finans) -> Application (CRM-Bot) -> User (Ahmet).
  • Zaman Pencereleri:Dakika (Burst), Gün, Ay, Yıl. `Token Bucket` ve `Leaky Bucket` algoritmalarının Redis (Sorted Sets / Lua Scripts) ile atomik implementasyonu.
  • Hard Limit vs Soft Limit:Hard -> 429 Too Many Requests. Soft -> Uyarı logu + Alert (PagerDuty/Slack) + Yönlendirme (Cheaper Model).
Bütçe Eşikleri ve Anomali Tespiti
  • Budget Thresholds:%50, %75, %90, %100 uyarı seviyeleri. %100'de `Hard Block` veya `Downgrade Model` aksiyonu.
  • Cost Anomaly Detection:Basit istatistiksel (Z-score, IQR) veya ML (Isolation Forest) ile "Dün 100$ harcanırken bugün 5000$ harcanması" anomali tespiti ve otomatik devre kesici (circuit breaker) tetikleme.
  • Uygulama:
  • FinOps Dashboard Prototipi:Grafana'da "Cost per Department", "Cost per Model", "Tokens per $ Efficiency" panelleri tasarlama.
  • Kodlama:Redis Lua Script ile atomik `CHECK_AND_DECREMENT_QUOTA(tenant_id, model_id, estimated_tokens)` fonksiyonu yazma. Yanıt: `{ allowed: true, remaining: 5000, retry_after: 0 }`.
Uygulamalı Laboratuvar & Hands-on Atölye:
  • Departman bazlı AI kullanım bütçesi tasarımı
  • Token tüketimine göre model yönlendirme senaryosu
Kurumsal ve Mühendislik Kazanımı:

Katılımcılar bu modülde Rate Limit, Quota, Cost Tracking ve Budget Control (FinOps) konusunu kurumsal mühendislik standartlarında kavramış ve sahada uygulanabilir pratik refleksler kazanmış olurlar.

İşlenen Anahtarlar: LLM Yük Dengeleme (Load Balancing) Önubellekleme ile Maliyet Kısma (Semantic Caching)

AI'ye Özel Gözlemlenebilirlik (LLMOps Observability)
  • Standart RED Metrics (Rate, Errors, Duration) yetersizdir. AI Metrics: `tokens_per_second (throughput)`, `time_to_first_token (TTFT)`, `inter_token_latency`, `context_window_usage_pct`, `finish_reason (stop/length/tool_calls/error)`.
  • Semantic Metrics:`embedding_drift` (gelen prompt'ların dağılım kayması), `refusal_rate` (modelin cevap verme reddediş oranı), `hallucination_proxy_metrics` (RAG context adherence skorları).
Distributed Tracing ve Context Propagation
  • W3C TraceContext:ve OpenTelemetry Semantic Conventions for GenAI (yeniden `gen_ai.` attribute standartları).
  • Trace:`User Request -> Gateway (Routing Decision: model=gpt-4o, cost_est=$0.02) -> Provider API -> Gateway (Cost_Actual=$0.021, TTFT=450ms) -> User`.
  • Prompt/Response Logging:GDPR/KVKK uyumlu. `body` loglanmaz, `hash(prompt)` ve `metadata` (intent, pii_detected, token_count) loglanır. Debug modunda `full_body` opsiyonel (PII masked).
  • Executive View:Günlük maliyet, toplam istek, hata oranı, ortalama gecikme, en pahalı 5 kullanıcı/uygulama.
  • Engineering View:Provider health matrix (Latency P50/P99, Error Rate, Rate Limit Hit Rate), Model performans karşılaştırması (Quality vs Cost scatter plot), Cache Hit Ratio.
  • Uygulama:
  • OTel Instrumentation:Go/Python SDK ile Gateway'e `gen_ai.request.model`, `gen_ai.usage.output_tokens`, `gen_ai.system` attribute'larını ekleme.
  • Dashboard JSON:Sağlanan şablon üzerinden kurumsal renkler/etiketlerle "AI Gateway Golden Signals" dashboard'ı import etme ve alarm (AlertRule) tanımlama (örn: `TTFT > 5s for 5m -> PagerDuty`).
Uygulamalı Laboratuvar & Hands-on Atölye:
  • AI Gateway için temel metrik seti tanımlama
  • Grafana dashboard tasarım şablonu oluşturma
Kurumsal ve Mühendislik Kazanımı:

Katılımcılar bu modülde Observability, Logging ve AI Trafik Analitiği konusunu kurumsal mühendislik standartlarında kavramış ve sahada uygulanabilir pratik refleksler kazanmış olurlar.

İşlenen Anahtarlar: Kuantum Sonrası Gateway Güvenliği (Post-Quantum AI Gateway) Sıfıra Yakın Altyapı Maliyetli AI Gateway (Near-Zero Cost AI Gateway)

Çok Katmanlı Önbellekleme Stratejisi (Multi-Layer Caching)
  • Exact Match Cache (L1 - In-Memory/Redis):`hash(prompt + params + model)` -> Response. Deterministik sorgularda (Embedding, Classification) %90+ hit rate.
  • Semantic Cache (L2 - Vector DB):Prompt embedding'i -> Vector DB (Qdrant/Redis Vector/pgvector) -> `similarity > 0.95` -> Cached Response. "Hava nasıl?" vs "Hava durumu nedir?" ayrımını yapar.
  • Cache Invalidation:Model versiyon güncellemesi (örn: `gpt-4o-2024-05-13` -> `2024-08-06`) olduğunda cache'in tag-based (`model_version`) temizlenmesi.
Yüksek Erişilebilirlik (HA) ve Dayanıklılık (Resiliency) Desenleri
  • Multi-Region / Multi-Provider Load Balancing:Weighted Round Robin (WRR) ve Least Latency / Least Connections algoritmaları. `Health Check Endpoint` (`/health` veya `models/list`) ile passive/active health checking.
  • Circuit Breaker (Hystrix/Resilience4j/Go-breaker):`Failure Threshold %50 -> Open State (Fast Fail) -> Half Open (Probe) -> Closed`. Provider `429` verirse Circuit Breaker tetiklenir, trafik yedek provider'a kayar.
  • Graceful Degradation:Premium model düşerse; "Üzgünüm, şu an en iyi model meşgul, daha hızlı ama daha az yetenekli bir modelden cevap veriyorum" mesajı ile fallback model cevabı döndürme.
Kubernetes Üzerinde Ölçeklenebilir Dağıtım (GitOps/ArgoCD)
  • Deployment:`Deployment` + `HPA` (CPU/Memory + Custom Metrics: `queue_length`, `concurrent_requests`).
  • PodDisruptionBudget (PDB):Rolling update sırasında minimum `maxUnavailable: 25%` garanti.
  • Gateway API (K8s SIG-NETWORK):`HTTPRoute` / `GRPCRoute` ile trafik bölme (Canary: %10 yeni gateway versiyonu, %90 eski).
  • Uygulama:
  • Fallback Zinciri Simülasyonu:`Chaos Mesh` veya `LitmusChaos` ile `OpenAI Provider` pod'una network partition (latency injection 10s) veya `kill` enjekte etme. Gateway'in `vLLM Local` -> `Anthropic` zincirini nasıl tetiklediğini, metriklerden (Grafana) ve loglardan (Loki) izleme.
  • Semantic Cache Handson:`sentence-transformers/all-MiniLM-L6-v2` ile embedding alıp `Redis Stack (RediSearch)` veya `Qdrant` aracılığıyla semantic cache yazma/okuma kodu.
Uygulamalı Laboratuvar & Hands-on Atölye:
  • Fallback zinciri tasarlama: local model → düşük maliyetli cloud model → premium model
  • Provider kesintisi durumunda otomatik yönlendirme senaryosu
Kurumsal ve Mühendislik Kazanımı:

Katılımcılar bu modülde Cache, Fallback, Load Balancing ve High Availability konusunu kurumsal mühendislik standartlarında kavramış ve sahada uygulanabilir pratik refleksler kazanmış olurlar.

İşlenen Anahtarlar: Model Sağlayıcı Bağımlılığı (Vendor Lock-in) Tek Standart API Arayüzü (Unified API Standard)

Uçtan Uca Mimarî Tasarım Belgesi (SAD - Software Architecture Document) Hazırlığı
  • Gereksinimler:Fonksiyonel (Routing, Security, Cache) ve Fonksiyonel Olmayan (Latency P99 < 200ms overhead, 99.99% Uptime, Auditability).
  • ADR (Architecture Decision Records):"Neden Go/Rust seçildi?", "Neden OPA, neden Cedar?", "Redis Cluster mi Valkey mi?", "Self-hosted mi Managed (Cloudflare AI Gateway / Portkey / Kong AI) mi?".
  • Threat Modeling (STRIDE):Gateway'e karşı Spoofing, Tampering, Repudiation, Information Disclosure, DoS, Elevation of Privilege analizi.
Operasyonel Mükemmellik ve SRE Pratikleri
  • SLO/SLI Tanımları:`Availability > 99.95%`, `TTFT Overhead < 50ms`, `Cost Calculation Accuracy 100%`.
  • Runbook'lar:"Provider Outage Runbook", "Budget Exhausted Runbook", "PII Leak Detected Runbook".
  • GitOps Pipeline:ArgoCD/Flux ile Gateway config (Routing Rules, Policies, Model Registry) `git` repo'sunda, prod'a `sync` ile deploy.
  • Katılımcılar 3-4 kişilik takımlar halinde (veya bireysel) aşağıdaki teslimatları üretir:
  • 1. Mimari Şema (Mermaid/C4):Container ve Component diyagramları.
  • 2. Policy Repo (OPA/Rego):Routing, Security, Quota politikaları kod olarak.
  • 3. Provider Adapter Kitaplığı:Min 3 sağlayıcı (OpenAI, Azure, Local vLLM/Ollama) için adapter kodu (Go/Python).
  • 4. Kubernetes Manifestları (Helm Chart/Kustomize):Gateway Deployment, Service, HPA, PDB, Ingress/GatewayAPI, ConfigMap/Secret (ExternalSecrets Operator ile Vault entegrasyonu).
  • 5. Observability Stack:PrometheusRule (Alerting), Grafana Dashboard (JSON), OTel Collector Config.
  • 6. README.md:Kurulum, Çalıştırma (Kind/Minikube/K3d), Test Senaryoları (k6/hey load test scriptleri), API Kullanım Örnekleri.
Kurumsal ve Mühendislik Kazanımı:

Bu eğitim programı, katılımcılarınızı "LLM Çağıran Geliştirici" kimliğinden "AI Platform Mimarısı" kimliğine taşımak için tasarlanmış stratejik bir yatırımdır.

Kariyer Etkisi:

Katılımcılar, piyasada artan talep gören "AI Platform Engineering" ve "LLMOps" rolleri için kritik olan "Model Routing", "AI Gateway Development", "GenAI FinOps" ve "AI Security Gateway" yetkinliklerini eline alacaklar. Bu eğitim, CV'lerine "Enterprise AI Gateway Architecture", "Multi-Provider LLM Orchestration", "Semantic Caching & Cost Optimization", "Prompt Injection Defense" gibi yüksek değerli anahtar kelimeler ekleyecek, onları Senior/Staff/Principal seviyesi pozisyonlar ve mimarlık rolleri için rakipsiz kılacaktır.

Kurumsal Etki:

Eğitim sonucunda ekibiniz; Shadow AI riskini ortadan kaldıracak, %30-%50 maliyet tasarrufu sağlayacak (Semantic Cache + Cost-based Routing), veri sızıntı riskini sıfıra indirecek (PII Masking + DLP), vendor lock-in'i kırarak pazarlık gücünü artıracak ve yeni model entegrasyon süresini haftalardan dakikalara düşürecek bir platform yeteneğine kavuşacaktır. Bu, kurumunuzun "AI-First" dönüşümündeki en kritik altyapı taşı (Keystone) olacaktır.

Teknik Yetkinlik:

Katılımcılar, teorik bilginin ötesinde; Kubernetes üzerinde production-grade bir AI Gateway'i (Health checks, HPA, mTLS, GitOps, Observability) baştan sona canlıya alabilecek, OPA/Rego ile policy-as-code yazabilecek, OpenTelemetry GenAI semantic conventions ile dağıtık tracing kurabilecek, Redis Lua scripting ile atomik rate limiting yapabilecek ve Semantic Cache için Vector DB entegrasyonu geliştirebilecek pratik beceriye sahip olacaklardır.

İşlenen Anahtarlar: Yapay Zeka Ağ Geçidi ve Model Yönlendirme Mühendisliği (AI Gateway & Model Routing Engineering) AI Gateway ve API Gateway Farkı (API vs AI Gateway) Model Sağlayıcı Bağımlılığı (Vendor Lock-in) Tek Standart API Arayüzü (Unified API Standard) Basit Yönlendirme (Static Model Routing) Talep Sınırı Kontrolü (Gateway Rate Limiting) Kullanıcı Yetki Denetimi (Gateway Authentication) Merkezi Loglama Altyapısı (Centralized LLM Logging) Yerel Model Geçit Testleri (Local Gateway Setup) Ağ Geçidi Gecikme Payı (Gateway Overhead)
Kurucu & Danışman & Baş Eğitmen & Mentör

Tuncer KARAARSLAN

35+ Yıl Mühendislik ve Teknoloji Deneyimi | 25+ Yıl Uluslararası Kurumsal Teknoloji Eğitmenliği ve Danışmanlığı

Bilgisayar mühendisliğindeki 35 yılı aşan mühendislik ve teknoloji deneyimi ile 25 yılı aşkın uluslararası kurumsal teknoloji eğitmenliği ve danışmanlık kariyeriyle Tuncer KARAARSLAN, Türkiye'nin önde gelen teknoloji ve yazılım otoritelerindendir. Kurumsal yazılım mimarileri, bulut altyapıları, DevOps, DevSecOps ve yapay zeka entegrasyonlarında derinlemesine uzmanlığa sahiptir.

Hackathon Tadında Eğitim Yaklaşımı: Teorik bilginin ötesine geçerek bol senaryolu, interaktif ve katılımcıların projelerini canlı inceleyen (Code Review & Architecture Review) bir öğrenme deneyimi sunar.

🔗 LinkedIn Profilini İncele ↗
🏆 35+ Yıl Mühendislik & Teknoloji Deneyimi
🎓 25+ Yıl Uluslararası Eğitmenlik & Danışmanlık
🛡️ Kurumsal Çözüm Mimarı
🚀 Hackathon & Workshop Lideri
🏢 Kurumsal Eğitim ve Teslimat Formatlarımız

Kurumunuzun ihtiyacına, ekibinizin kıdemine ve takvimine göre özelleştirilmiş 4 farklı çalışma formatı sunuyoruz.

🏢

Detaylı Kapalı Sınıf (3-5 Hafta)

Teknolojinin tüm detaylarının bol laboratuvar ve hands-on pratiklerle incelendiği kurumsal standart formatımızdır.

⚡

Hackathon Formatı

Teknik ekiplerin gruplar halinde projeler inşa ettiği, oyunlaştırılmış ve sinerjiyi artıran interaktif modeldir.

🔬

İleri Düzey Workshoplar

Mimarlar seviyesinde sistemlerin ve operasyonel modellerin tartışıldığı danışmanlık formatındaki oturumlardır.

🎯

Yönetim Seminerleri (1-2 Hafta)

C-Level ve mühendislik yöneticilerinin stratejik karar alma süreçlerini destekleyen farkındalık seminerleridir.

🎯 Eğitimde Kazanılan 8 Temel Teknik Yetkinlik

Bu programı tamamlayan katılımcılar aşağıdaki kritik teknik yetkinlikleri sahada uygulama becerisi kazanır.

📐 Sistem Mimarisi & Tasarımı
⚙️ Kurumsal Standartlar & En İyi Uygulamalar
🔍 İleri Hata Ayıklama & Teşhis
⚡ Performans Optimizasyonu
🛡️ Sıkılaştırma & Güvenlik
🔄 Süreç Otomasyonu & Entegrasyon
📊 Gözlemlenebilirlik & Metrikler
🏆 Üretime Hazır Mimari Refleks
📈 8) Kariyer Hayatına Katkısı
  • ✓Kurumsal projelerde aranan elit mühendislik ve uzmanlık unvanına sahip olma
  • ✓Teknik liderlik, çözüm mimarlığı ve kıdemli uzmanlık pozisyonlarına geçişte belirleyici avantaj
  • ✓Büyük ölçekli kurumsal altyapılarda ve kritik sistemlerde güvenilir karar alma yetkinliği
  • ✓Sektörel standartlarda problem çözme, optimizasyon ve hata giderme refleksleri kazanma
  • ✓Global ölçekte geçerli teknik bilgi birikimi ve LinkedIn üzerinde doğrulanabilir dijital rozetler
⭐ 9) Vebende Akademi Farkı
  • ✓Sektörün duayen eğitmeni Tuncer KARAARSLAN liderliğinde 35+ yıllık tecrübeyle mentorluk
  • ✓Slayt okumak yerine; yoğun canlı kodlama, mimari analizler ve interaktif laboratuvar yaklaşımı
  • ✓Eğitim süresince 16 hands-on laboratuvar ödevi ve birebir eğitmen geri bildirimi
  • ✓3 gerçek dünya bitirme projesiyle 3. Seviye Uzmanlık Brövesi kazanımı
  • ✓Katılımcı sayısı sınırlaması olmaksızın sınıf bazlı kurumsal sabit fiyat modeli
Kurumsal Karar Verici Özeti

Liderlik ve Yönetim Kademeleri İçin Değer Matrisi

Bu eğitim; yetkinliği proje, code review ve ölçülebilir çıktılarla görünür hale getirerek teknik ve idari karar vericilerin mühendislik kalitesini güçlendirmesi için kurgulanmıştır.

⚙️ CTO & Mühendislik Lideri

Mimari Güvenilirlik & Çıktı

  • • Sıfır Teknik Borç: Endüstri standardı mimari kalıplar ve test edilebilir temiz kod pratikleri.
  • • Üretim Kararlılığı: Darboğazları erken teşhis eden ve yüksek yük altında stabil çalışan altyapılar.
  • • Hızlı Teslimat (Throughput): Standartlaştırılmış mühendislik refleksleri ile hızlanan sprint çıktıları.
  • • Modern Entegrasyon: Dağıtık sistemler, API standartları ve bulut yerel bileşenlerle tam uyum.
👥 CHRO & İK Direktörü

Yetkinlik Geliştirme & Tutundurma

  • • Mühendislik Kültürü: Ekiplerin mesleki özgüvenini artıran üst düzey teknik gelişim ekosistemi.
  • • Doğrulanabilir Bröveler: Laboratuvar ödevleri ve 3 bitirme projesiyle kanıtlanan 3. Seviye Uzmanlık Brövesi.
  • • 1-on-1 Mentörlük: Katılımcılara özel kıdemli başmühendis ile mimarlık ve kariyer seansı.
  • • Hızlı Onboarding: Yeni katılan geliştiricilerin üretime doğrudan katkı verme süresini %60 kısaltma.
🎯 L&D & Eğitim Direktörü

Uygulamalı Saha Verimliliği

  • • %65 Hands-on Laboratuvar: Slayt okumadan, gerçek üretim senaryolarıyla canlı interaktif eğitim modeli.
  • • Esnek Kurumsal Format: Kapalı sınıf (Online / On-site / Hibrit), hackathon ve teknik atölye seçenekleri.
  • • Sınıf Başı Sabit Fiyat: Katılımcı sayısı sınırı olmaksızın en yüksek kurumsal ROI avantajı.
  • • Yönetici Takip Raporu: Katılımcıların devamlılık, ödev ve proje başarı karnelerinin düzenli raporu.
🛡️ CISO & Güvenlik Lideri

Güvenlik & Uyum Kültürü

  • • Shift-Left Güvenliği: Güvenliği SDLC'nin ilk adımından itibaren bir mühendislik refleksi haline getirme.
  • • OWASP & Zafiyet Önleme: Kaynak kod ve mimari düzeyde zafiyetleri canlı laboratuvarlarda bertaraf etme.
  • • Regülasyon Uyumu: KVKK, ISO 27001 ve sektörel uyumluluk ilkelerini mimariye entegre etme.
  • • Veri Egemenliği: Hassas kurumsal verileri koruyan kapalı devre laboratuvar pratikleri.
🛡️
Kurumsal Çözüm Ortaklığı & Gizlilik CHRO • L&D • CTO • CISO

Kurumunuzun Yetkinlik Geliştirme Çözüm Ortağı Olmaya Hazırız

Vebende Akademi; teknoloji, yapay zekâ, yazılım, veri, siber güvenlik, cloud, DevOps ve mühendislik alanlarında kurumların yetkinlik geliştirme ihtiyaçlarına yönelik kurumsal çözümler sunar.

35+ Yıl Mühendislik & Teknoloji Deneyimi
25+ Yıl Uluslararası Eğitmenlik & Danışmanlık
Hands-on Yoğun Laboratuvar & Vaka Modeli
3. Seviye Bröve Kanıtlanabilir Yetkinlik
🗺️ Bu Eğitim Hangi Kariyer Yollarının Temelini Oluşturur?

#9212 AI Gateway & Model Routing Engineering; Vebende Akademi'nin kurumsal mühendislik kariyer yollarının çekirdek modüllerindendir.

🚀 Bu Eğitimden Sonraki Önerilen Yetkinlik & Uzmanlık Modülleri

#9212 eğitimini tamamladıktan sonra kariyer ve uzmanlık hedefinize göre doğrudan geçiş yapabileceğiniz ilişkili ileri düzey eğitimler.

❓ Sıkça Sorulan Sorular (#9212 AI Gateway & Model Routing Engineering)

Eğitim içeriği, katılım koşulları, laboratuvar modeli ve kurumsal uyarlama hakkında en çok merak edilen sorular.

Evet. Vebende Akademi bünyesindeki #9212 eğitimi, kurumunuzun mevcut teknoloji yığınına (Tech-Stack), ekibinizin seviyesine ve şirketinizin takvimine özel olarak kapalı sınıf (Online, On-Site veya Hibrit) formatında sunulmaktadır. Kuruma özel vaka analizleri ve yönetici takip raporlaması sağlanır.

#9212 AI Gateway & Model Routing Engineering eğitimi; kurumsal IT ekipleri, mühendisler ve bu alanda yetkinleşmek isteyen profesyoneller için tasarlanmıştır. Temel teknoloji okuryazarlığı yeterli olup, ileri düzey mimari konular adım adım uygulamalı laboratuvarlarla aktarılır.

Program toplam 40 Saat (2 Ay / 8 Hafta) ve 2 VBK değerindedir. Canlı interaktif seanslar, 16 hands-on laboratuvar ödevi, birebir kod/mimari incelemesi (Code Review) ve 3 kapsamlı bitirme projesi içerir.

Katılımcılar 16 ödevi başarıyla tamamladığında 2. Seviye Bröve, portföyde sergilenebilir 3 gerçek dünya bitirme projesini eğitmen onayına sunduklarında 3. Seviye Uzmanlık Brövesi ve doğrulanabilir dijital sertifika kazanırlar.

Bu program; AI Platform & MLOps Engineer ↗ kariyer yollarının çekirdek modülüdür. Eğitim sonrasında katılımcılar #undefined undefined ↗, #2000 Linux Foundation Engineer ↗, #9010 Networking Fundamentals ↗ geçiş yapabilirler.

Yöneticilere düzenli olarak sunulan "Yönetici Takip Raporu" ile ekibin devamlılığı, ödev teslim oranları, GitHub ve laboratuvar pratiklerindeki kod kalitesi ile bitirme projelerinin teknik yetkinlik karnesi şeffaf şekilde raporlanır.
Kurumsal Çözümler

Bu Eğitimi Kurumunuza ve Ekibinize Özel Olarak Alın

Şirketinizin teknoloji yığınına uygun özelleştirilmiş müfredat, kapalı sınıf imkanı ve teknik ekip performans raporlaması ile kurumsal dönüşümünüzü hızlandırın.

Vebende Akademi, Eğitim Değil, Yetkinlik Geliştirir.
Kurumsal Teklif & İletişim Talebi