1. GİRİŞ

Batch veri işleme, veri mühendisliği dünyasının temel taşlarından biridir. Gerçek dünyada pek çok analiz, ETL/ELT işi, gecelik raporlama ve toplu hesaplama iş akışı hâlâ batch paradigmına dayanır. Gerçek zamanlı/streaming yaklaşımlar popülerlik kazanırken, batch işlemler büyük veri setlerinde deterministik, maliyet‑etkin ve kolay denetlenebilir çözümler sunmaya devam ediyor. Bu rehber, mühendis perspektifiyle batch data processing'in neden bugün kritik olduğunu, hangi senaryolarda tercih edilmesi gerektiğini ve ölçeklenebilir, güvenilir batch sistemlerinin nasıl tasarlanıp işletileceğini teknik ayrıntılarla açıklar.

Bu neden bugün önemli?

Veri hacimleri katlanarak arttı; ML modelleri, analitik raporlar ve iş zekâsı süreçleri büyük veri kümeleri üzerinde düzenli olarak yeniden hesaplama gerektiriyor. Bulut maliyetleri, veri tutarlılığı ve iş gereksinimleri göz önüne alındığında batch işleme, maliyet verimliliği ve işlem doğruluğu açısından değerli olmaya devam ediyor. Ayrıca batch işlemler offline model eğitimi, günlük ETL görevleri ve tarihsel analiz için doğal seçimdir.

Kimler için önemli?

Veri mühendisleri, platform mühendisleri, MLOps ekipleri, veri analistleri ve veri bilimciler batch işleme ile sıkça etkileşir. Altyapı ekipleri kaynak yönetimi, orkestrasyon ve gözlemlenebilirlik tarafında sorumlu olurken, veri kullanıcıları veri tazeliği ve sonuç doğruluğundan sorumludur.

Hangi problemleri çözüyor?

• Büyük hacimli verilerin toplu dönüştürülmesi ve temizlenmesi
• Toplu raporlama ve analitik için deterministik sonuçlar sağlama
• Model eğitimi için tarihsel veri hazırlama
• Maliyet etkin veri işleme: spot/commit/ondemand kaynak kullanımı ile toplam maliyeti optimize etme

2. KAVRAMSAL TEMELLER

2.1 Batch processing nedir?

Batch processing, verinin toplu bloklar hâlinde işlendiği bir paradigmadır. Genellikle veri belirli bir pencere veya dönem (ör. günlük, saatlik) sonunda işlenir. Batch işleri, giriş verilerini alır, bunları dönüştürür, toplar ve hedefe yükler (data warehouse, veri gölü veya feature store). Batch işlemler çoğunlukla idempotent yapılandırılır: aynı input tekrar geldiğinde sonucun değişmemesi beklenir.

2.2 Temel bileşenler ve terminoloji

• ETL/ELT: Extract‑Transform‑Load ya da Extract‑Load‑Transform. Modern mimariler ELT'yi tercih ederek ham veriyi depoladıktan sonra transformasyon yapar.
• Orchestration: İş akışı yönetimi ve bağımlılık çözümü (Airflow, Dagster, Luigi).
• Cluster Manager: Kaynak tahsisi; YARN, Kubernetes, EMR/Dataproc gibi altyapılar.
• Execution Engine: Spark, Hadoop MapReduce, Flink (batch modu), Beam runner'ları.
• Storage: S3, HDFS, Azure Data Lake; performant formatlar: Parquet, ORC.
• Partitioning & Bucketing: Veri bölümlendirme stratejileri sorgu performansı ve işlem maliyeti için kritiktir.

3. NASIL ÇALIŞIR?

3.1 Yüksek seviyeli sistem mimarisi

Tipik bir batch pipeline şu katmanları içerir: source (veri üreticileri), ingestion (bulk transfer veya CDC snapshot), raw storage (ham veri), transform processing (Spark/MapReduce işleri), curated storage (parquet tabanlı ambar), serving layer (BI/analytics ya da model training). Orchestration katmanı işleri zamanlar, bağımlılıkları yönetir ve hata kurtarma politikalarını uygular.

3.2 Veri akışı adımları

1. Veri toplama: Batch kaynakları (log dosyaları, günlük veri dump'ları, veritabanı snapshot'ları).
2. Landing zone: Raw bucket/HDFS dizininde ham verinin saklanması.
3. Validation & Quality checks: Schema validation, null/duplication check, basic statistics.
4. Transform: Cleaning, enrichment, join'lar, aggregations.
5. Load: Curated zone'a yazma: partitioned Parquet/ORC veya tabela yükleme.
6. Serving: Data warehouse / OLAP for analytics, feature store for ML.

3.3 Zamanlama ve pencereleme stratejileri

Batch işler günlük, saatlik veya daha nadir olabilir. Pencereleme stratejisi veri üretim hızına, iş gecikme toleransına ve maliyet hedeflerine göre seçilir. Sliding windows, tumbling windows gibi kavramlar streaming dünyasında sık kullanılırken, batch için partition by date/time en yaygın yaklaşımdır.

3.4 İşin idempotent olması ve retry stratejileri

Batch işleri tekrar çalıştırıldığında aynı sonucu üretmeli; bunun için temp staging, write‑atomicity (atomic rename) ve ETL job'larında run id veya job‑output checksum mekanizmaları kullanılır. Retry politikaları, checkpointing ve partial reprocess yetenekleri ile tasarlanmalıdır.

4. GERÇEK DÜNYA KULLANIMLARI

4.1 Netflix — toplu veri mühendisliği örneği

Netflix gibi içerik platformları kullanıcı davranışının tarihsel analizini, günlük öneri modellerinin yeniden eğitilmesini ve faturalama raporlamasını batch işleriyle gerçekleştirir. Parquet tabanlı lakehouse mimarisi ve Spark tabanlı batch job'lar sıkça kullanılır.

4.2 Amazon ve e‑ticaret — toplu raporlama ve finans

E‑ticaret platformları günlük satış raporları, stok hesaplamaları ve finansal mutabakatlar için batch processing'e güvenir. Bu işler genellikle yüksek doğruluk gerektirir; idempotency, audit trail ve veri lineage önemli gereksinimlerdir.

4.3 Araştırma ve ML eğitim boru hatları

Model eğitimi için gerekli geniş çaplı feature engineering ve veri hazırlama genellikle batch modda yapılır. Eğitim dataset'leri, precomputed features ve offline validation setleri batch işlerle hazırlanır.

5. AVANTAJLAR VE SINIRLAMALAR

Avantajlar

• Maliyet-etkinlik: Toplu işler spot instance/commit kaynaklarla çalıştırılarak düşük maliyet sağlanabilir.
• Deterministik sonuçlar: Aynı giriş için aynı çıktı elde edilmesi test ve audit açısından değerlidir.
• Basit hata kurtarma: Tüm işlem genelde tek bir iş veya job graph içinde yeniden çalıştırılabilir.

Sınırlamalar

• Gecikme: Gerçek zamanlı gereksinimler için batch uygun değildir.
• Operasyonel karmaşıklık: Büyük batch işlerini koordine etmek, partition ve state yönetimi gerektirir.
• İş yükü yoğunluğu: Pik zamanlarda kaynak tahsisi zorlaşabilir; doğru kapasite planlama şarttır.

6. ALTERNATİFLER VE KARŞILAŞTIRMA

Aşağıdaki tablo batch ve diğer yaklaşımları karşılaştırır:

7. EN İYİ PRATİKLER

Production kullanımı

• Data contract ve schema registry uygulayın; tüm veri tüketicileri için şema değişikliklerini versionlayın.
• Idempotent job'lar ve atomic write pattern'leri tercih edin (temp file + atomic rename).
• Orkestrasyon ile dependency graph'ını net tanımlayın ve retry/alert politikalarını belirleyin.

Performans optimizasyonu

• Partitioning stratejileri (date, hash) ile sorgu ve yazma maliyetlerini düşürün.
• Columnar formatlar (Parquet/ORC) ve sıkıştırma ile I/O maliyetlerini azaltın.
• Pushdown predicate ve vectorized IO ile işlem hızını artırın.

Güvenlik

• Encryption at rest/in transit, IAM, ve least‑privilege ilkelerini uygulayın.
• Audit logging ve data lineage ile veri hareketlerini izlenebilir hale getirin.

Ölçeklenebilirlik

• Spot/Preemptible instance stratejileri ile maliyet‑performans optimizasyonu yapın ancak eviction senaryolarına hazırlıklı olun.
• Autoscaling ve partition aware scheduling ile işlerin paralel yürütülmesini sağlayın.

8. SIK YAPILAN HATALAR

• Partition key yanlış seçimi: hotspot'lar ve tek bir partition'ın darboğaz olması
• Tekrar işlem (reprocess) stratejisi olmadan job'ları yeniden çalıştırmak — veri tutarsızlığı
• Schema evrimini göz ardı etmek — tüketicileri kıran değişiklikler
• Yetersiz test ve staging: büyük batch job'lar production'da beklenmedik hata yaratabilir

9. GELECEK TRENDLER

9.1 Lakehouse ve performans birleşimi

Lakehouse mimarileri batch processing ile analytics performansını birleştiriyor; ACID desteği, zaman yolculuğu (time travel) ve daha iyi optimizasyonlar batch işlerini daha güvenilir kılıyor.

9.2 Serverless ve otomatik kaynak yönetimi

Serverless batch runtimes (Spark serverless, managed EMR serverless) ile altyapı işletimi azalıyor; ancak maliyet yönetimi ve iş tahmini hala kritik olacak.

9.3 AI destekli optimizasyon

AI tabanlı job planner'lar, en iyi partition stratejilerini ve kaynak tahsisini belirleyerek batch maliyetini ve süreyi optimize edecek. Ayrıca anomaly detection ile job sonuçlarındaki tutarsızlıklar otomatik tespit edilecek.

EK BÖLÜMLER

Sık Sorulan Sorular (FAQ)

1. Batch processing mi yoksa streaming mi tercih etmeliyim?

   İhtiyaca göre: gerçek zamanlı kararlar gerekiyorsa streaming; büyük, tarihsel ve deterministik hesaplamalar için batch tercih edilir. Birçok kuruluş hibrit bir yaklaşım uygular.

2. Batch job'ları nasıl test etmeliyim?

   Unit test ve küçük veri setleri ile local testler, ardından end‑to‑end staging ortamında tam veri setiyle smoke testleri uygulayın. Idempotency ve schema değişiklik testleri özellikle önemlidir.

3. Partition key seçimi nasıl yapılır?

   En sık filtrelenen kolonlar ve sorgu paterni göz önünde bulundurularak; hotspot oluşturmayacak şekilde hash+date kombinasyonları önerilir.

4. Batch işler için hangi formatı seçmeliyim?

   Analitik ve kolon‑bazlı okuma yoğunluğu için Parquet/ORC; küçük dosya sorunu olmadığında columnar formatlar en uygunudur.

5. Tekrarlı çalıştırma nasıl güvenli yapılır?

   Atomic write, job run id ve output checksum mekanizmaları kullanarak; ayrıca incremental processing tercih ederek yeniden hesaplama yükünü azaltın.

6. Batch işlerinde maliyeti nasıl düşürürüm?

   Spot instance, doğru partitioning, cold/hot storage ayrımı ve veri yaşına göre retention politikaları ile maliyeti optimize edin.

7. Orchestration hangisini seçmeliyim?

   Airflow geniş topluluk ve plugin ekosistemi nedeniyle yaygın; Dagster ve Prefect modern alternatiflerdir ve test‑friendly özellikler sunar.

8. Veri kalitesini batch pipeline'da nasıl sağlarsınız?

   Validation adımları, schema registry, anomaly detection ve data contracts ile veri kalitesini otomatik olarak kontrol edin.

Anahtar Kavramlar

Partitioning

Veriyi bölümlere ayırma stratejisi; sorgu performansı ve paralellik için kritik.

Idempotency

İş tekrarlandığında sonucu değiştirmeme garantisi; yeniden çalıştırma güvenliği sağlar.

Atomic Write

Geçici dosyadan hedefe atomik rename ile tam başarılı çıktının garanti edilmesi.

Lakehouse

Data lake ile data warehouse özelliklerini birleştiren modern mimari.

Öğrenme Yol Haritası

1. 0–1 ay: Linux, SQL, Python temelleri ve temel batch job örnekleri (cron, basit ETL).
2. 1–3 ay: Spark temelleri, Parquet/ORC formatları, S3/HDFS kullanımı ve küçük ölçekli batch işleri yazma.
3. 3–6 ay: Orkestrasyon (Airflow), partitioning, compaction, incremental processing ve CDC kavramları.
4. 6–12 ay: Skalabilite stratejileri, spot instance yönetimi, maliyet optimizasyonu ve production‑grade batch pipeline'lar kurma.
5. 12+ ay: Lakehouse design patterns, query optimization, AI destekli job planning ve büyük ölçekli veri platformu tasarımı.