1. Giriş

AI ve ML sistemlerinin üretimde güvenilir şekilde çalışması, klasik uygulamalardan farklı izleme ihtiyaçları getirir. Model drift, veri kalitesi, embedding-space değişimleri, hallucination, retriever başarısızlıkları gibi konular sadece model doğruluğu değil aynı zamanda iş riskleri, maliyet ve uyumluluk açısından da önemlidir. Bu nedenle AI monitoring araçları (AI observability tooling) artık her MLOps ekibinin temel bileşeni haline geldi.

Bu konu neden konuşuluyor?

• Model davranışı zamanla değişir; drift erken tespit edilmezse yanlış kararlar tekrarlanır.
• Regülasyon, audit ve explainability talepleri model çağrılarını izlemeyi zorunlu kılıyor.
• Bulut maliyetleri ve token kullanımının artışı, model-inference maliyetlerini gözlemlemeyi gerekli kılıyor.

Kimler için önemli?

MLOps mühendisleri, ML mühendisleri, SRE ekipleri, veri mühendisleri ve ürün yöneticileri için AI monitoring araçları kritik önemdedir. Ayrıca güvenlik, uyum ve müşteri destek ekipleri de bu verilerden faydalanır.

Hangi problemleri çözüyor?

AI monitoring araçları; latency, throughput, token usage gibi altyapı metriklerinin yanında model performansını (accuracy, precision/recall), drift detection, data quality, feature distribution monitoring, prediction explanations ve human-in-the-loop iş akışları için gerekli telemetriyi sağlar.

2. Kavramsal Temeller

Temel kavramlar

• Telemetry: Metric, log ve trace verilerinin toplanması.
• Drift detection: Girdi veya çıkış dağılımlarındaki istatistiksel sapmaların tespiti.
• Data quality: Missing value, invalid format, outlier tespiti.
• Model performance monitoring: Gerçek dünya doğruluk metrikleri, A/B testi sonuçları ve geri bildirim oranları.
• Explainability: Bir tahminin neden üretildiğinin izlenebilir olması (SHAP, LIME, counterfactuals).

Bileşenler

1. Instrumentasyon: SDK'lar (OpenTelemetry, client libs) ile uygulamaya telemetri eklenir.
2. Collector/ingest: Telemetry toplayan agent veya gateway (OTel Collector, Fluentd).
3. Storage: Timeseries DB, log storage ve blob storage (Prometheus TSDB, Elasticsearch, S3).
4. Processing & feature store hooks: Gerçek zamanlı ve batch analiz için pipeline.
5. Visualization & alerting: Grafana, Kibana, Honeycomb.
6. Specialized ML observability: Arize, WhyLabs, Evidently, Fiddler AI gibi ML odaklı çözümler.

3. Nasıl Çalışır? — Mimari ve Veri Akışı

Tipik mimari

AI monitoring pipeline tipik olarak şu katmanlardan oluşur:

1. Uygulama katmanı: Model çağrısı sırasında telemetri (input/output, metadata) eklenir.
2. Collector: OpenTelemetry Collector veya log forwarder telemetriyi toplar ve doğru hedeflere yönlendirir.
3. Processing: Feature/embedding metric hesaplama, drift testleri, scorer fonksiyonları çalıştırılır.
4. Storage: İşlenmiş metrikler time-series DB'ye, ham loglar blob storage'a, etiketli sample'lar veritabanına kaydedilir.
5. Visualization/Alerting: Dashboardlar ve uyarı kuralları SLO/SLA bazında tanımlanır.
6. Human-in-the-loop: Düşük güven skoru veya çatışma durumları için insan inceleme panelleri tetiklenir.

Veri formatları ve metadata

Her model çağrısına aşağıdaki metadata'ların eklenmesi izlemeyi kolaylaştırır:

• request_id, model_id, model_version
• prompt_id veya feature_set_id, input_checksum
• token_usage, latency, cost_estimate
• retriever_snapshot_id veya index_version (RAG senaryoları için)
• ground_truth_id (etiketli sample'lar için)

OpenTelemetry önemi

OpenTelemetry (OTel) uygulama telemetrisini standardize ederek metric/log/trace verilerinin taşınabilirliğini sağlar. AI pipeline'larınız için OTel kullanmak; farklı backend'lere (Prometheus, Jaeger, Elasticsearch) kolay yönlendirme ve vendor-lockin'i azaltma avantajı verir.

4. Popüler Araçlar ve Kısa İncelemeler

Prometheus + Grafana

Prometheus zaman serisi metrik toplama ve sorgulama için endüstri standardıdır; Grafana ise görselleştirme ve alerting sağlar. Model-inference metrikleri, latency, throughput, token usage gibi sayısal göstergeler için uygundur. Dezavantajı: ham ML metrikleri (drift, distribution comparison) için ek iş ve depolama gerektirir.

Elastic Stack (Elasticsearch, Logstash, Kibana)

Log tabanlı observability için güçlüdür; text-search ve agregasyon yetenekleri iyidir. Büyük log hacimlerini saklamak ve analiz etmek için uygundur. Metrik odaklı use-case'lerde Prometheus kadar hafif değildir.

Jaeger / Zipkin

Dağıtık trace toplama çözümleri, model çağrıları ve microservice zincirlerini takip etmek için kullanılır. OTel ile entegre çalışır; root-cause analysis için faydalıdır.

Arize AI

ML observability alanında uzman bir SaaS çözümüdür. Drift detection, model comparison, explanation (SHAP), root-cause ve human-in-the-loop iş akışları sunar. Veri gizliliği ve maliyetler göz önünde bulundurulmalıdır.

WhyLabs

Veri kalitesi ve model drift izleme odaklı bir platformdur. Girdi/çıktı dağılımlarını sürekli izler, anomalileri otomatik algılar ve uyarılar üretir.

Evidently AI

Açık kaynak ve SaaS seçenekleri bulunan Evidently, model performans ve data drift raporları üretmek için kullanışlıdır; offline ve online test setleri ile entegrasyon sağlar.

Fiddler AI, Hypefactors vs.

Fiddler AI açıklanabilirlik ve risk yönetimi sunar; enterprise kullanımda regülasyon ve explainability ihtiyaçlarını karşılamaya yöneliktir.

Open-source alternatifler: SigNoz, Cortex, Seldon, BentoML

SigNoz (open-source observability full stack), Cortex (Prometheus scaling), Seldon ve BentoML (model servingyle entegre monitoring) gibi projeler maliyet kontrolü ve esneklik sağlar. Ancak kurulum ve işletme yükü daha fazladır.

5. Gerçek Dünya Örnekleri

Netflix — model regresyonu tespiti

Netflix gibi içerik platformları, öneri modellerinin A/B sonuçlarını, offline ve online metriklerini paralel izleyerek sürümler arası regresyonu hızlıca tespit eder. Canary rollout ve canary-metrik karşılaştırmaları kritik rol oynar.

Uber — SLA/latency izleme

Dispatch ve pricing modellerinde latency SLA'ları kritik olduğundan Prometheus/Grafana tabanlı izleme ile model gecikmeleri, kuyruk uzunlukları ve fallback oranları izlenir.

Amazon — RAG indeks uyumluluğu

RAG uygulamalarında index_version ve embedding staleness izlenir; stale index tespit edilince otomatik reindex job'ları tetiklenir.

6. Avantajlar ve Sınırlamalar

Avantajlar

• Erken uyarı ve maliyet kontrolü: Anomaliler erken yakalanır, gereksiz inference maliyeti azaltılır.
• Uyumluluk ve audit: Hangi modelin hangi verilerle çağrıldığı izlenebilir.
• İyileştirme döngüsü: Veri ve model hataları hızlıca geri bildirim alır.

Sınırlamalar

• Operasyonel maliyet: Telemetry depolama ve işleme maliyetleri yüksek olabilir.
• Veri gizliliği: Prompt/response loglama PII riskleri taşır; masking gerektirir.
• Uyarı yönetimi: Yanlış pozitifler operasyonel yük oluşturabilir.

7. Alternatifler ve Karşılaştırma

Aşağıdaki tablo, bazı araç ve yaklaşımların güçlü/zayıf yönlerini özetler.

8. En İyi Pratikler

Production kullanımı

• Telemetry-first yaklaşımı: Her yeni model özelliği telemetry ile birlikte tasarlansın.
• Prompt/model versiyonlama: Hangi prompt/template ile hangi model çağrıldığını kaydedin.
• Canary & staged rollout: Yeni model sürümlerini küçük trafiğe açıp metrikleri izleyin.
• SLO/SLA belirleme: Latency ve quality için hedefler koyun.

Performans optimizasyonu

• Stratified sampling: Telemetry veri maliyetini azaltırken kritik senaryoları yakalayın.
• Asenkron ingestion: Production latency'ni etkilemeden telemetry toplayın.
• Retention politikaları: Ham veriyi kısa, özet veriyi uzun süre saklayın.

Güvenlik

• PII masking: Otomatik tespit ve maskeleme pipeline'ı zorunlu olsun.
• RBAC: Telemetry ve loglara erişimi sıkı yönetin.
• Immutable logs: Önemli eylemler için değiştirilemez audit kayıtları saklayın.

9. Sık Yapılan Hatalar

• Telemetry sonradan eklemek: Baştan planlanmayan sistemler eksik veri bırakır.
• Her şeyi loglamak: Maliyet ve gizlilik problemleri oluşturur.
• Uyarıları aşırı hassas yapmak: Operasyon ekibini yorup sinyal yorgunluğuna yol açar.
• HITL süreçlerini ihmal etmek: Kritik hatalar insan incelemesi gerektirir.

10. Gelecek Trendler

• Automated observability pipelines: Model güncellemeleriyle otomatik test/metric jenerasyonu.
• Explainability-first monitoring: Tahminlerin dayanak kanıtlarını otomatik toplama.
• Federated telemetry: Gizlilik gerektiren durumlarda merkezi olmayan izleme yaklaşımları.
• Self-healing systems: Anomali tespitinde otomatik onarım/rollback yetenekleri.

Ek Bölümler

FAQ (Sık Sorulan Sorular)

1. AI monitoring ile klasik uygulama monitoring arasındaki fark nedir?

   AI monitoring daha fazla model-özel metrik (drift, recall@k, hallucination rate) ve veri kalitesi odaklıdır. Ayrıca model eğitimi/versiyonlama ve etik/uyum gereksinimleri izlenir.

2. Hangi metrikler önceliklidir?

   Latency (p95/p99), token usage, recall@k, hallucination rate, input distribution drift önceliklidir.

3. OpenTelemetry kullanmalı mıyım?

   Evet. OTel vendor-agnostic bir standard sağlar ve farklı backend'lere yönlendirmeyi kolaylaştırır.

4. Telemetry maliyetini nasıl azaltırım?

   Stratified sampling, summarization ve retention policy uygulayın.

5. Arize veya WhyLabs gibi SaaS araçlar ne zaman tercih edilmeli?

   Eğer hızlı kurulum, güçlü ML-özgü özellikler ve yönetilen hizmet istiyorsanız; ancak veri gizliliği ve maliyet değerlendirilmelidir.

6. HITL nasıl entegre edilir?

   Düşük-confidence veya model disagreement durumlarını insan onayına gönderin; sonuçları etiketleyip geri öğrenme döngüsüne alın.

7. Drift detection için hangi yöntemler uygundur?

   Statistical tests (KL divergence, PSI), embedding-space distance monitoring ve model performance takibi birlikte kullanılmalıdır.

8. Observability'i CI/CD'ye nasıl entegre ederim?

   Model/prompt değişiklikleri için otomatik metric regression testleri, canary release ve otomatik metrik karşılaştırmaları ekleyin.

Anahtar Kavramlar

• Telemetry: Metric, log ve trace toplama.
• Drift: Zamanla dağılımlardaki sapma.
• Recall@k: Retriever doğruluğu metriği.
• Hallucination rate: Yanlış/uydurma çıktı oranı.
• HITL: İnsan-in-the-loop doğrulama süreçleri.

Öğrenme Yol Haritası

1. Temel: Observability (metrics/logs/traces) ve dağıtık sistem izleme.
2. Tooling: Prometheus, Grafana, Elastic, Jaeger, OpenTelemetry kullanımını öğrenin.
3. ML metrikleri: Drift detection, distribution tests ve model evaluation metrikleri.
4. ML observability platformları: Arize, WhyLabs, Evidently gibi çözümleri deneyin.
5. Operationalization: Canary rollout, SLO tanımlama, incident response ve HITL entegrasyonu uygulayın.