1. Giriş

Vektör veritabanları (vector databases) son yıllarda makine öğrenimi ve yapay zeka uygulamalarının merkezine yerleşti. Özellikle embedding tabanlı arama (semantic search), öneri sistemleri, benzerlik aramaları ve Retrieval-Augmented Generation (RAG) senaryolarında vektör veritabanları, geleneksel ters indeks (inverted-index) yaklaşımlarının ötesinde anlamsal arama imkânı sağlar.

Bu teknolojinin yükselişinin temel sebepleri: (1) embeddings'in (gömülü vektör) olgunlaşması; (2) Approximate Nearest Neighbor (ANN) algoritmalarının ölçeklenebilir hale gelmesi; (3) bulut hizmetleri ve yönetilen vektör DB çözümlerinin yaygınlaşmasıdır.

Neden bugün önemli?

• Veri çeşitliliği (metin, görüntü, ses) ve multimodal uygulamalar vektör aramayı gerektiriyor.
• LLM ve embedding tabanlı sistemlerin üretime alınması, düşük-latency yakınlık aramalarına ihtiyaç duyuyor.
• Arama ve öneri kalitesini hızla artıran semantik yöntemler iş değerini doğrudan etkiliyor.

Kimler için önemli?

Product ekipleri, veri mühendisleri, ML mühendisleri, platform mühendisleri ve uygulama geliştiriciler için kritik. Özellikle içerik platformları, e-ticaret, çağrı merkezi otomasyonu ve kurumsal arama uygulamaları vektör veritabanlarından güçlü şekilde faydalanıyor.

Hangi problemleri çözüyor?

Kelime eşleşmesine dayalı arama ile bulunamayan anlamsal benzerlikleri yakalar; kısa sorgulardan uygun uzun döküman paragraflarını, görsel örneklere benzer ürünleri veya kullanıcı davranışlarına yakın önerileri getirir.

2. Kavramsal Temeller

Vektör veritabanı nedir?

Vektör veritabanı, embedding'ler (vektörler) ve bu vektörlere ait metadata'yı depolayan, benzerlik sorgularını (k-NN veya ANN) hızlı şekilde gerçekleştiren veri tabanıdır. Tipik olarak iki ana fonksiyon sunar: k-en yakın komşu (k-NN) arama ve düşük gecikme ile ölçeklenebilir sorgu performansı.

Temel bileşenler

• Embedding üretimi: Model ya da servis (örn. sentence-transformers, OpenAI embeddings).
• Indexleme: Vektörlerin bellekte veya diskte saklandığı ve aranabildiği yapı (FAISS, HNSW, IVF, PQ).
• ANN algoritmaları: HNSW, IVF+PQ, Annoy, ScaNN gibi yaklaşımlar.
• Metadata store: Vektörlere iliştirilmiş referans bilgiler (document id, url, snippet).
• Query layer: API, query embedding, retrieval ve reranking adımları.

Terminoloji

• Embedding: Giriş nesnesinin (metin, görsel) sayı vektörü.
• ANN (Approximate Nearest Neighbor): Yaklaşık en yakın komşu arama algoritmaları.
• Index: Vektörlerin organize edildiği veri yapısı.
• Recall@k, MRR: Vektör aramada kullanılan başarı metrikleri.

3. Nasıl Çalışır?

Sistem mimarisi

Standart bir vektör arama pipeline'ı şu katmanlardan oluşur:

1. Data ingestion: Döküman, metin, görselin toplanması ve ön işlenmesi (chunking, OCR, temizleme).
2. Embedding üretimi: Her chunk veya öğe için embedding hesaplanır.
3. Indexleme: Embedding'ler ANN algoritmasına göre indexlenir (HNSW, IVF+PQ vb.).
4. Query handling: Kullanıcı sorgusu embedding'e dönüştürülür, index üzerinde arama yapılır.
5. Reranking ve post-processing: İlk ANN sonuçları daha yüksek maliyetli cross-encoder/Reranker ile yeniden sıralanır; metadata eklenir ve sonuç döndürülür.

Index türleri ve çalışma mantığı

HNSW (Hierarchical Navigable Small World)

Graf tabanlı bir ANN yaklaşımdır. Çok iyi recall ve düşük latency sunar; pek çok üretim sistemi için varsayılan seçimdir. HNSW, küçük dünya grafı oluşturur ve hızlı lokal arama yapar.

IVF + PQ (Inverted File + Product Quantization)

Büyük veri setlerinde depolama ve sorgu hızını optimize etmek için kullanılır. IVF ile vektörler küme merkezlerine atanır; PQ ile vektörler sıkıştırılır. Bu yaklaşım, büyük indekslerde bellek kullanımını azaltır.

Brute-force (exact)

Küçük veri setlerinde veya offline batch işlemlerinde kullanılabilir. Her vektör ile skaler çarpım veya L2 hesaplanır; kesin sonuç verir fakat ölçeklenmez.

Veri akışı örneği

1. Yeni doküman geldi → chunk'lara bölünür (ör. 512 token, 128 overlap).
2. Her chunk için embedding modeline istek gönderilir (batching kullanılır).
3. Embedding normalize edilir (cosine ile arama için).
4. Index'e eklenir; metadata DB'ye (ör. Postgres) referans yazılır.
5. Sorgu geldiğinde sorgu embed'i üretilir → ANN.search → top-k id'ler alınır → metadata ile zenginleştirilip döndürülür.

4. Gerçek Dünya Kullanımları

Semantic search (Kurumsal arama, SSS)

Kurumsal dökümantasyonu anlamsal olarak aramak için vektör DB kullanılır. RAG sistemlerinde döküman retrieve katmanı vektör DB'yi kullanır ve LLM'e bağlam sağlar.

Recommendation (Öneri sistemleri)

Kullanıcı ve ürün embedding'leri ile benzer kullanıcı/ürün önerileri üretilebilir. Özellikle soğuk başlangıç ve içerik tabanlı önerilerde embeddings faydalıdır.

Multimodal arama (görsel+metin)

CLIP gibi modellerle görsel embedding'ler ve metin embedding'leri aynı uzayda saklanarak görsel arama ya da görsel tabanlı öneriler yapılır.

Anomali tespiti ve benzerlik tabanlı monitoring

Kullanıcı davranışı embedding'leri ile benzerlik aramaları yapılarak sıra dışı örüntüler tespit edilebilir; finansal dolandırıcılık tespiti gibi uygulamalarda faydalıdır.

5. Avantajlar ve Sınırlamalar

Avantajlar

• Anlamsal arama: yüzeysel eşleşmeden öte kavramsal benzerlik sağlar.
• Çok modalite desteği: metin, görsel, ses embedding'leri aynı yaklaşımda kullanılabilir.
• Ölçeklenebilirlik: ANN algoritmaları ve dağıtık vektör DB çözümleri büyük veri setlerinde çalışır hale geldi.

Sınırlamalar

• Karmaşıklık: Embedding üretimi, indexleme stratejisi ve izleme birbiriyle ilişkili sorunlardır.
• Maliyet: Büyük embedding üretimi (GPU), depolama ve sorgu maliyetleri yükselebilir.
• Hatalı retriever: Kötü retriever sonuçları LLM veya reranker ile düzeltmek gerekir, dolayısıyla ek maliyet getirir.

6. Alternatifler ve Karşılaştırma

Vektör veritabanları farklı kullanım senaryolarına uygun çeşitli teknolojiler sunar. Aşağıdaki tabloda bazı yaygın yaklaşımlar karşılaştırılmaktadır.

7. Practical Implementation (Python & C# Örnekleri)

Aşağıda iki pratik örnek var: (1) Python ile FAISS kullanarak küçük bir index oluşturma ve sorgulama; (2) C# ile Pinecone yönetilen servis çağrısı örneği.

Python: FAISS ile küçük pipeline

# requirements: sentence-transformers, faiss-cpu, numpy
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# Model ve veriler
model = SentenceTransformer('all-MiniLM-L6-v2')
texts = [
    "Vebende Akademi'de AI mühendisliği eğitimleri",
    "Konteyner ve Kubernetes pratikleri",
    "Büyük dil modelleri ve tokenizasyon hakkında makale"
]

# Embedding üretimi
embs = model.encode(texts, convert_to_numpy=True)
# Normalize (cosine search için)
faiss.normalize_L2(embs)

# FAISS index oluştur (inner product kullanıyoruz)
d = embs.shape[1]
index = faiss.IndexFlatIP(d)
index.add(embs)

# Sorgu
q = model.encode(["AI eğitimleri"], convert_to_numpy=True)
faiss.normalize_L2(q)
D,I = index.search(q, k=2)
print('Distances:', D)
print('Indices:', I)

Üretimde: batch embedding, index sharding, quantization (IVF+PQ) ve GPU hızlandırma (faiss-gpu) kullanılır.

C#: Pinecone REST API ile basit sorgu

// .NET 7/10 minimal API örneği: Pinecone yönetilen vektör DB'ye sorgu
using System.Net.Http.Headers;
using System.Net.Http.Json;

var builder = WebApplication.CreateBuilder(args);
var app = builder.Build();

app.MapPost("/pinecone-search", async (SearchRequest req) =>
{
    using var client = new HttpClient();
    client.BaseAddress = new Uri("https://controller.us-east1-gcp.pinecone.io");
    client.DefaultRequestHeaders.Authorization = new AuthenticationHeaderValue("Api-Key", Environment.GetEnvironmentVariable("PINECONE_API_KEY"));

    // Örnek: Pinecone'da index adı 'my-index'
    var payload = new
    {
        vector = req.Vector,
        topK = 5,
        includeValues = false,
        includeMetadata = true
    };

    var resp = await client.PostAsJsonAsync($"/databases/my-index/query", payload);
    resp.EnsureSuccessStatusCode();
    var body = await resp.Content.ReadFromJsonAsync