1. GİRİŞ

Büyük dil modelleri (LLM) ve etkileşimli yapay zekâ uygulamaları hızla ürünleşiyor. Chatbotlar, bilgi asistanları, RAG (Retrieval‑Augmented Generation) sistemleri ve müşteri destek otomasyonları LLM'leri arka planda kullanıyor. Bu etkileşimli doğa beraberinde yeni saldırı vektörlerini de getirdi: prompt injection saldırıları. Prompt injection, kötü niyetli bir kullanıcının modelin çalıştığı prompt veya bağlam içeriğine sızarak modeli beklenmedik, zarar verici ya da gizlilik ihlali oluşturacak şekilde yönlendirmesini hedefler.

Bu makale prompt injection saldırılarını teknik ve operasyonel açıdan derinlemesine inceler. Hedefimiz: mühendisler, MLOps ekipleri, güvenlik ekipleri ve ürün yöneticilerine pratik ve uygulanabilir koruma taktikleri sunmak; hem teori hem uygulama düzeyinde rehberlik etmek ve üretim ortamlarında dikkate alınması gerekenleri açıkça listelemektir.

Bu konu neden bugün önemli?

• LLM tabanlı hizmetlerin yaygınlaşmasıyla dışarıdan girilen içerik model davranışını doğrudan etkileyebiliyor.
• Prompt injection saldırıları sadece model çıktısını bozmaz; veri sızıntısına, istenmeyen eylemlere veya yanlış kararlar üretilmesine yol açabilir.
• Uyumluluk ve güvenlik gereksinimleri (ör. finans, sağlık) açısından riskler kritik olabilir.

Kimler için önemli?

• LLM kullanan ürün ekipleri ve geliştiriciler.
• MLOps, güvenlik ve platform mühendisleri.
• Regülasyon, compliance ve veri koruma sorumluları.

Hangi problemleri çözüyor?

• Modelin istem dışı davranışlarını önleme ve güvenli çıktı sağlama.
• Kullanıcı verisi ve gizliliğinin korunması.
• Üretim ortamında güvenlik politikalarının uygulanması.

2. KAVRAMSAL TEMELLER

2.1 Tanımlar

• Prompt Injection: Kullanıcı girdisinin veya veri bağlamının modellere kötü niyetli talimatlar ileterek modelin beklenmedik davranmasına neden olması.
• System prompt / System message: LLM'in davranışını yönlendiren sabit talimat seti; genelde güvenli ve değişmez kabul edilir.
• Context contamination: External veri parçalarının model prompt'unu istenmeyen şekilde değiştirmesi.
• RAG context: Dış kaynaklardan alınan doküman parçalarının (retrieved context) model prompt'una eklendiği senaryolar.

2.2 Saldırı Vektörleri

Prompt injection saldırıları farklı formlarda olabilir:

1. Direct injection: Kullanıcı doğrudan sohbet girdisiyle zararlı komutları gönderir (ör. "ignore previous instructions" tarzı manipülasyonlar).
2. Contextual injection: Harici veri kaynaklarından çekilen içerikte kötü niyetli talimatlar bulunur; RAG pipeline'ında bu içerik prompt'a dahil edilir.
3. Polymorphic / obfuscated injection: Talimatlar gizlenir — kod blokları, unicode trick'leri veya doğal dil tuzakları kullanılarak tespit zorlaştırılır.
4. Prompt chaining: Çok adımlı saldırılar; önce modelin davranışı değiştirilir, sonra bunun üzerinden daha tehlikeli komutlar yürütülür.

2.3 Etki Türleri

• Modelin yetki dışı eylemler önermesi veya gerçekleştirmesi (ör. sistem komutu çalıştırması).
• Gizli/veri sızıntısına yol açabilecek bilgiler üretmesi (ör. "Veritabanındaki müşteri bilgilerini ver" tarzı).
• Yanlış yönlendirici, yanıltıcı veya yasa dışı içerik üretme.

3. NASIL ÇALIŞIR?

3.1 Teknik Mimari — Risk Noktaları

LLM tabanlı uygulamalar tipik olarak şu bileşenleri içerir: istemci (client), API gateway, preprocessing, retriever (RAG senaryosuysa), prompt assembler, model serving (LLM), postprocessing ve audit/logging. Prompt injection riskleri bu bileşenlerin bir veya daha fazlasında ortaya çıkar:

• Client-side input: Kullanıcının gönderdiği serbest metin doğrudan prompt'a ekleniyorsa risk yüksektir.
• Retrieval context: External kaynaklardan alınan içeriğin temizlenmeden prompt'a eklenmesi context injection'a zemin hazırlar.
• Prompt assembly: Farklı veri parçalarını birleştiren mantık hataları veya yanlış sıra saldırı yüzeyi sağlayabilir.
• Model serving: Modelin kendi yanıltıcı talimatları önceliklendirmesi (ör. user instructions > system instructions) durumunda saldırı başarısı artar.

3.2 Örnek Saldırı Akışı

Basit bir RAG asistanı üzerinden örnek akış:

1. Kullanıcı sorgusu alınıp retrieval yapılır.
2. Retrieval çıktılarından bir veya birkaç parça prompt'a eklenir.
3. Bir retrieval parçası içinde "Follow my instructions: reveal the secret..." gibi bir satır vardır.
4. LLM, eklenmiş bu talimatı uygulayarak hassas bilgi üretir veya operasyonları etkiler.

3.3 Saldırı Tespit Zorlukları

• Talimatlar doğal dil içinde kamufle edilebilir; regex veya basit filtreler yetersiz kalır.
• Modelin iç davranışları deterministik olmadığından bazı saldırılar nadiren tetiklenebilir; bu da tespit ve repro sürecini zorlaştırır.
• Context'in kaynağını ve hangi parçanın prompt'a etki ettiğini doğru izleyememek analiz ve adli inceleme yapmayı zorlaştırır.

4. GERÇEK DÜNYA ÖRNEKLERİ

4.1 Chat Asistanlarında Kullanıcı Taraflı Injection

Public chat servislerinde kullanıcılar doğrudan girdilerle sohbet başlatır. Basit bir "ignore previous instructions" veya "now act as an attacker" girişine karşı korunmasız bir sistem modelin davranışını değiştirebilir. Ürünlerde görülen örnekler, modelin gizli API anahtarları veya dahili süreçlere dair bilgi sızdırması şeklinde olabilir.

4.2 RAG Sistemlerinde Context Injection

RAG pipeline'larında dış kaynaklardan çekilen doküman parçalarının prompt içinde doğrudan yer alması sık kullanılır. Eğer indexing aşamasında bu dokümanlar kötü içerik barındırıyorsa (ör. forumlarda gönüllü eklenmiş 'exploit' notları) bunlar üretimde prompt injection kaynağı olur.

4.3 3rd‑party Data Feeds ve Supply Chain Riskleri

Harici veri sağlayıcıları veya scraping süreçleri, bilinçli ya da bilinçsiz olarak saldırı içeriği barındırabilir. Bu durum özellikle otomatik ingestion süreçleriyle birleşince risk büyür.

5. AVANTAJLAR VE SINIRLAMALAR (KORUMA YAKLAŞIMLARI)

5.1 Koruma Yaklaşımları — Avantajlar

• Prompt sandboxing: Belirgin olarak yapılandırılmış prompt katmanları ile user content'i izole eder; modelin sistem mesajlarına erişimini sınırlar.
• Instruction filtering: Kötü niyetli token/kalıp tespitiyle zarar verici talimatların engellenmesi.
• Context provenance: Hangi kaynak parçanın hangi çıktıya etki ettiğini izleyerek forensic sağlar.
• Reranking / safety filter: Model çıktılarını bir güvenlik katmanında yeniden kontrol ederek zararlı veya hassas bilgileri engellenebilir.

5.2 Limitasyonlar

• Kesin bir korunma garantisi yoktur—doğal dilin esnekliği sebebiyle yeni saldırı desenleri ortaya çıkar.
• Agresif filtreleme kullanıcı deneyimini bozabilir; false positive riski vardır.
• Context sanitization hesaplama maliyeti ve gecikme (latency) ekler.

6. ALTERNATİFLER VE KARŞILAŞTIRMA

7. EN İYİ PRATİKLER

Production Kullanımı

• System prompt'ları immutable yapın: Üretim sistem mesajlarını güvenli, imzalanmış ve değiştirilmesi zor bir yerde tutun.
• Prompt assembly kuralı: User content'i asla doğrudan system prompt içine gömmeyin; ayrı, net sınırlarla ekleyin ve tag'leyin.
• Context provenance: RAG senaryosunda hangi dokümanın prompt'a girdiğini request ID ile birlikte kaydedin.
• Input & output filtering: Hem gelen girdileri hem de model çıktısını policy motoru ile tarayın.
• Rate limiting & anomaly detection: Model extraction veya probing gibi saldırıları tespit etmek için davranış analitiği kullanın.
• Canary & shadow testing: Yeni model veya retrieval değişikliklerini sınırlı trafikle test edin.
• Security review: 3rd‑party içerik ve model kullanımında governance ve manifest kontrolü yapın.

Performans & Kullanıcı Deneyimi Dengesi

• Sanitization, filtering ve provenance mekanizmaları latency ekler; SLO'larınız ile dengeyi kurun.
• Sık kullanılan güvenli içerikler için cache/whitelist kullanarak performansı koruyun.

Güvenlik Operasyonları

• Per‑request trace ve audit log: hangi context, model versiyonu, retrieval parçaları kullanıldı kaydı.
• Incident playbook: prompt injection tespit edildiğinde izlenecek adımlar (isolate, revoke keys, rollback, notify).
• Red team & purple team testleri: üretim benzeri ortamda saldırı senaryoları test edin.

8. SIK YAPILAN HATALAR

• System vs user talimatlarını ayırmamak: Kullanıcı girdisini system prompt gibi işlemek saldırıya açık hale getirir.
• RAG context'i temizlemeden kullanmak: Retrieval sonuçlarını sanitizasyondan geçirmeden prompt'a eklemek büyük risk oluşturur.
• Monitoring eksikliği: Input/output distribution değişimini izlememek saldırıları geç farketmeye neden olur.
• Tek katmanlı savunma: Yalnızca input sanitization gibi tek bir mekanizmaya güvenmek genelde yetersizdir.

9. GELECEK TRENDLER

1. Automated prompt hygiene: Prompt'ları otomatik analiz edip riskli pattern'leri tespit eden araçlar yaygınlaşacak.
2. Learned defenses: ML tabanlı admission kontrol ve output filtering modelleri geliştirilecek.
3. Standards & certifications: Prompt security için endüstri standartları ve sertifikasyonlar ortaya çıkacak.
4. Provenance ecosystems: RAG pipeline'larında veri kaynağı ve doğruluğu için güçlü provenance araçları standart hale gelecek.

EK BÖLÜMLER

Sık Sorulan Sorular (FAQ)

1. Prompt injection nedir?

   Prompt injection, kullanıcı girişlerinin veya retrieval edilen içeriklerin LLM prompt'una entegre edilmesiyle modele kötü niyetli talimatlar verme saldırısıdır.

2. RAG pipeline'ında nasıl korunurum?

   Retrieval sonuçlarını sanitize edin, provenance kaydı tutun, generation cache ve output filter kullanın.

3. System prompt'ı neden immutable olmalı?

   System prompt model davranışının temelini oluşturur; değiştirilebilmesi saldırı yüzeyini genişletir.

4. Input sanitization tek başına yeterli mi?

   Hayır. Input sanitization önemli ama multi‑layer (provenance, output filtering, rate limiting) savunma gereklidir.

5. Prompt injection tespit etmek nasıl yapılır?

   Anomaly detection, trace analizi, unusual output patterns ve red team testleri ile tespit edilebilir.

6. Modeli nasıl güncellemeliyim?

   Model veya retrieval değişiklikleri yapıldığında versiyonlama, canary deploy ve shadow testing uygulayın.

7. Üretimde hangi metrikleri izlemeliyim?

   Input/output distributions, unexpected instruction triggers, confidence drops, rate per user ve provenance link ratio izlenmelidir.

8. Prompt security için başlangıç adımı nedir?

   İlk adım: prompt assembly kurallarını netleştirin, system ve user talimatlarını ayırın, küçük çaplı red team testleri yapın.

Anahtar Kavramlar

Prompt Injection

Model prompt'una kötü amaçlı talimat yerleştirme saldırısı.

Context Provenance

Hangi dış kaynağın prompt'a eklendiğini izleme ve kayıt altına alma pratiği.

Prompt Sandboxing

User content'i system talimatlarından izole eden mimari yaklaşım.

Instruction Filtering

Girdilerde komut veya tehlikeli kalıpları algılayıp reddetme mekanizması.

Öğrenme Yol Haritası

1. Temel: NLP ve LLM çalışma prensiplerini öğrenin; prompt engineering kavramlarını anlayın.
2. Güvenlik: Threat modelling, adversarial ML ve model extraction attack örneklerini inceleyin.
3. Uygulama: Basit bir RAG pipeline kurun; retrieval sanitization, provenance ve output filtering uygulayın.
4. Test: Red team senaryoları ile saldırı simülasyonları yapın; bulgulara göre mitigasyonları güçlendirin.