1. GİRİŞ

Yapay zekâ (AI) sistemlerinin başarısı büyük ölçüde kullanılan verinin kalitesine ve operasyona alınma süreçlerine bağlıdır. 2020'lerin ikinci yarısında modellerin kapasitesi arttıkça, model performansını sürdürülebilir şekilde sağlamak için veri mühendisliği uygulamaları kritik hale geldi. "Data for AI Systems" kavramı, yalnızca veri toplama değil; etiketleme süreçleri, veri versiyonlama, lineage, kalite kontrolleri, feature engineering ve model besleme süreçlerinin tümünü kapsar. Bu makalede mühendis perspektifinden; hangi veri gereksinimleri AI uygulamalarında farklılık gösterir, hangi altyapılar ve süreçler gereklidir, ve kurumsal ölçekte ne tür operasyonel disiplinler uygulanmalıdır anlatacağım.

Bu neden konuşuluyor?

• Model boyutları ve uygulama karmaşıklığı arttıkça veri kalitesi hatalarının maliyeti yükselir.
• Regülasyonlar, veri izlenebilirliği ve audit gereksinimleri talep ediyor.
• Gerçek zamanlı uygulamalar (recommendation, fraud detection, personalization) için düşük gecikmeli, tutarlı veri gerekli.

Kimler için önemli?

ML mühendisleri, veri mühendisleri, MLOps ekipleri, veri bilimciler ve teknik yöneticiler için veri yönetimi yetkinliği temel gereksinimdir. Ayrıca ürün sahipleri ve güvenlik/regülasyon ekipleri de bu süreçlerin parçasıdır.

Hangi problemleri çözüyor?

• Model reproducibility ve drift yönetimi
• Feature consistency between training and serving
• Veri gizliliği ve compliance

2. KAVRAMSAL TEMELLER

2.1 Temel kavramlar

AI için veri, klasik analitik veriden farklılıklara sahiptir: etiketleme, örnek ağırlıklandırma, negative sampling, veri augmentasyonu ve feature parity gibi alanlar model başarısında belirleyicidir.

2.2 Mimari bileşenler

• Data ingestion: Örneklerin toplanması (raw events, logs, third‑party sources).
• Labeling & annotation: İnsan etiketleme, weak supervision ve otomatik etiketleme süreçleri.
• Feature pipelines: Offline/online feature generation ve feature store.
• Versioning: Data snapshot'ları, schema ve feature versiyonları, experiment tracking.
• Monitoring & observability: Data quality, label drift, model input drift.

2.3 Terminoloji

• Label drift: Zaman içinde etiket dağılımının değişmesi.
• Feature drift: Feature değerlerinin ortalama/variansta değişiklik.
• Ground truth: Model değerlendirmesi için referans etiket seti.
• Feature parity: Training ve serving tarafında feature'ların aynı tanıma sahip olması.

3. NASIL ÇALIŞIR?

3.1 Sistem mimarisi

AI veri mimarisi üç ana katmana ayrılabilir: ingestion & collection, processing & labeling, serving for training and inference. Ingestion katmanı olay (event) ve batch veri kaynaklarını toplar; processing katmanı veriyi temizler, zenginleştirir ve etiketler; serving katmanı ise feature store ve training datasets sağlar.

3.2 Bileşenler ve veri akışı

Tipik akış: event → raw storage → preprocessing → labeling → feature extraction → snapshot/version → model training → model serving. Bu akışta her adımın izlenebilir olması gerekir: hangi verinin, hangi commit/producer ile geldiği; hangi etiketleme sürümünün kullanıldığı; hangi feature transformation'ların uygulandığı gibi.

3.3 Etiketleme (Labeling) stratejileri

Etiketleme maliyetlidir; ölçeklenebilir etiketleme için birkaç strateji kullanılır: crowdsourcing, expert labeling, weak supervision (Snorkel gibi), self‑supervised pretraining ve active learning. Active learning ile model belirsizliği yüksek örnekler seçilerek etiketleme yatırımı verimli kullanılır.

3.4 Data & feature versioning

Data snapshot'ları (time travel destekli formatlar) ve feature versiyonlama model reproducibility için kritiktir. Experiment run'ları ile ilişkilendirilmiş veri snapshot'ları, bir modelin geçmiş performansını yeniden değerlendirmeyi mümkün kılar.

3.5 Online vs offline features

Offline features training sırasında kullanılır; online features ise gerçek zamanlı inference isteğine düşük gecikme ile cevap vermelidir. Feature store'lar bu iki dünyayı senkronize eder; event sourcing ve materialized views pattern'leri burada yaygındır.

4. GERÇEK DÜNYA KULLANIMLARI

4.1 Netflix — personalization ve offline/online feature parity

Netflix, öneri sistemleri için offline eğitimde kullanılan feature'larla online servis edilen feature'ların birebir eşleşmesine büyük önem verir. Aksi halde training‑serving skew oluşur; bu da üretim performans düşüşüne neden olur.

4.2 Uber — gerçek zamanlı decisioning

Uber benzeri platformlarda düşük gecikmeli pricing ve matching kararları için stream tabanlı feature engineering ve online feature store zorunludur. Ayrıca, labeling pipeline'ları fraud/abuse tespitine yönelik hızlı geri besleme döngüleri içerir.

4.3 OpenAI / AI‑First şirketler — data curation ve provenance

AI‑first şirketlerde veri kaynağı, provenance ve licensing çok önemlidir. Training verisinin kaynağını ve izinlerini izleyebilmek, yasal ve etik riskleri azaltır.

4.4 Finans / Sağlık — etki ve compliance

Regüle sektörlerde veri izlenebilirliği, explainability ve audit trail olmazsa olmazdır. Veri maskeleme, PII yönetimi ve ayrıntılı lineage (hangi kayıt hangi pipeline'dan geldi) standart gereksinimlerdendir.

5. AVANTAJLAR VE SINIRLAMALAR

Avantajlar

• Yüksek kaliteli veri model performansını artırır.
• Versiyonlama ve reproducibility, güvenilir üretim sağlar.
• İyi tasarlanmış feature pipelines, geliştirme hızını yükseltir.

Sınırlamalar

• Etiketleme maliyeti ve insan‑in‑the‑loop ihtiyaçları yüksek olabilir.
• Data drift ve label drift sürekli izlenmezse modeller bozulur.
• Online feature serving düşük gecikme ve yüksek tutarlılık gerektirir; altyapı maliyetli olabilir.

6. ALTERNATİFLER VE KARŞILAŞTIRMA

Aşağıdaki tablo farklı veri stratejilerini karşılaştırır:

7. EN İYİ PRATİKLER

Production kullanımı

• Data snapshot'ları ve experiment metadata'sını model run'ları ile ilişkilendirin.
• Training ve serving için aynı feature transform kodunu paylaşın veya bir feature store kullanın.
• Active learning ve human‑in‑the‑loop süreçleri ile etiketleme verimliliğini artırın.

Performans optimizasyonu

• Incremental dataset generation ile yeniden hesaplama maliyetini azaltın.
• Materialized views ve precomputed features ile inference gecikmesini düşürün.
• Feature pruning ve dimensionality kontrolü ile model latencysini optimize edin.

Güvenlik ve uyumluluk

• PII discovery, masking ve encryption ile veri gizliliğini sağlayın.
• Veri lisans ve izinlerini metadata ile izleyin; training pipeline'ında otomatik izin kontrolleri uygulayın.

8. SIK YAPILAN HATALAR

• Training‑serving skew: offline feature ile online feature arasında tutarsızlık.
• Eksik versiyonlama: hangi veri ile hangi model eğitildiğinin kaydının olmaması.
• Etiket kalitesini ihmal etmek: noisy labels model performansını bozar.
• Yetersiz monitoring: drift erken tespit edilmezse model çöküşleri yaşanır.

9. GELECEK TRENDLER

9.1 Self‑supervised ve label‑efficient öğrenme

Label maliyetini azaltmak için self‑supervised ve few‑shot teknikler; veri mühendislerinin iş yükünü değiştirir—daha fazla unlabeled data işleme ve doğru pretraining strategy gerektirir.

9.2 Data-centric AI yaklaşımları

Model yerine veriye odaklanma: veri kalitesine yatırım yapmak, model mimarisi değişikliklerinden daha etkili sonuçlar verebilir. Data contracts, continuous validation ve automated labeling pipeline'ları yaygınlaşacak.

9.3 Privacy‑preserving ML

Federated learning, differential privacy ve secure multi‑party computation gibi yaklaşımlar, veri gizliliği endişelerini azaltırken yeni veri mühendisliği zorlukları getiriyor.

EK BÖLÜMLER

Sık Sorulan Sorular (FAQ)

1. AI için veri kalitesini nasıl ölçerim?

   Label accuracy, feature drift rate, missing value oranları, ve business KPI'lar ile ilişkilendirilmiş model performans metrikleri kullanın.

2. Etiketleme sürecini nasıl ölçeklendiririm?

   Active learning, weak supervision ve kalite kontrol (golden set ile denetleme) kombinasyonlarıyla etiketleme verimliliğini artırın.

3. Feature store yoksa ne yapmalıyım?

   Öncelikle offline ve online feature parity sağlayacak küçük bir abstraction katmanı kurun; daha sonra managed feature store'a geçiş planlayın.

4. Data drift tespitini nasıl otomatikleştiririm?

   Feature distribution monitoring, KL divergence/JS divergence gibi istatistiksel testler ve model output değişimini izleyen metric'ler kurun.

5. Veri versiyonlama için hangi araçlar uygundur?

   Delta Lake / Iceberg time travel, DVC, LakeFS gibi araçlar dataset versiyonlama için uygundur; model‑experiment metadata için MLflow/Weights & Biases tercih edilir.

6. Online feature latency nasıl yönetilir?

   Materialized views, precomputations, cache katmanları ve hızlı key‑value store'lar (Redis, RocksDB) kullanın.

7. Training verisinin kaynağını nasıl izlerim?

   Lineage ve provenance metadata'sı ile her dataset snapshot'ının kaynaklarına, transform pipeline'larına ve etiket sürümlerine bağlanmasını sağlayın.

8. PII içeren verilerle nasıl çalışmalıyım?

   Masking/tokenization, access control, ve anonymization stratejileri uygulayın; mümkünse sensitive feature'ları modelde kullanmaktan kaçının veya privacy‑preserving teknikler uygulayın.

Anahtar Kavramlar

Feature parity

Training ve serving ortamında feature'ların aynı dönüşümlere ve değer aralıklarına sahip olması.

Label drift

Zaman içinde etiket dağılımının değişmesi; model performansını olumsuz etkileyebilir.

Data snapshot / time travel

Belirli bir zaman noktasındaki veri durumunun geri alınabilmesini sağlayan özellik.

Active learning

Modelin en fazla fayda sağlayacağı örnekleri seçerek etiketlemeyi optimize eden yöntem.

Öğrenme Yol Haritası

1. 0–1 ay: Python, SQL, temel veri yapıları, temel ML kavramları.
2. 1–3 ay: ETL/ELT, data ingestion, temel feature engineering, basit model eğitimleri.
3. 3–6 ay: Feature stores, data versioning (DVC/lakefs), labeling workflows ve active learning uygulamaları.
4. 6–12 ay: Online feature serving, low‑latency systems, monitoring for drift ve production MLOps süreçleri.
5. 12+ ay: Privacy‑preserving ML, federated learning, data governance at scale ve platform engineering for AI.