Context window nedir?

ChatGPT gibi bir sohbet botunun uzun bir konuşmanın ortasında başta söylediklerinizi "hatırlamayı bırakması" çoğu zaman bilgisizlikten değil, context windowun dolmasından kaynaklanır. Bu derste üretken yapay zekânın geçici çalışma hafızası sayılabilecek bu kavramı sıfırdan, örneklerle anlatıyoruz: nedir, nasıl ölçülür, dolduğunda ne olur, nasıl daha verimli kullanılır? Konuya temelden başlamak isteyenler için Yapay Zekâ dersleri sayfamız iyi bir başlangıç noktasıdır.

Context window nedir?

Context window (bağlam penceresi), bir yapay zekâ modelinin tek seferde okuyup işleyebileceği en fazla metin miktarıdır. Bu metnin içine yalnızca en son yazdığın soru girmez; o sohbetteki her şey sayılır: sistem mesajı, senin önceki soruların, modelin önceki cevapları ve eklediğin belgeler. Pencere, token denen parçacıklar üzerinden ölçülür.

Akılda kalıcı bir benzetme: modelin eğitimden gelen bilgisi uzun süreli hafızası, context window ise masasının üzerindeki çalışma alanıdır. Model masaya bir anda ne kadar evrak sığdırabiliyorsa, o kadar metinle aynı anda çalışabilir. Masa dolduğunda en eski evraklar kenara itilir ve model artık onlara bakamaz.

Token nedir, pencere nasıl ölçülür?

Modeller metni kelime kelime değil, token adı verilen parçalar hâlinde işler. Bir token bazen bütün bir kelime, bazen kelimenin bir parçası ya da bir noktalama işaretidir. İngilizcede 100 token kabaca 75 kelimeye denk gelir; Türkçe gibi ek almaya yatkın dillerde kelimeler daha çok parçaya bölündüğü için aynı metin daha fazla token tutar. Örneğin "gidiyorsunuz" gibi bir kelime, "git – i – yor – sunuz" gibi birkaç parçaya ayrılabilir.

İlk sohbet modellerinde pencere birkaç bin token kadardı; 2024-2025 itibarıyla yaygın modellerin çoğu yüz binlerce token işleyebiliyor, bazı modeller milyona yaklaşan pencereler sunuyor. Kabaca 100 bin token, birkaç yüz sayfalık bir metne karşılık gelir; yani modern pencereler bir kitabı tek seferde içine alabilir.

Context window nasıl çalışır?

Sohbet modelleri konuşmayı bütün olarak görür: her yeni mesajda, pencereye sığan tüm konuşma geçmişi modele yeniden gönderilir. Model senin ilk mesajını aslında "hatırlamıyor"; o mesaj her seferinde pencerenin içinde tekrar sunulur. Bu döngünün aşamalarını merak ediyorsan ChatGPT nasıl çalışır? dersine göz atabilirsin.

Pencerenin içine girenler şöyle sıralanabilir:

• Sistem mesajı: Modelin karakterini ve kurallarını belirleyen, kullanıcıya çoğu zaman görünmeyen talimattır; ayrıntısı için sistem mesajı dersine bakabilirsin.
• Kullanıcı mesajları: Senin yazdığın sorular ile yüklediğin belgeler; her biri aslında birer prompttır.
• Model cevapları: Sohbet boyunca modelin ürettiği tüm yanıtlar da pencerede birikir.

Pencere dolduğunda uygulama genellikle en eski içerikleri kırpıp atar; bazı sistemler eski kısmı özetleyerek yer açmaya çalışır. Kırpılan bölüm model için o andan itibaren yok olmuştur; orada yazılı talimatları artık hatırlamaz.

Neden bu kadar önemli?

Context window, bir modelin ne yapabileceğini doğrudan sınırlayan bir kapasite çizgisidir:

• Uzun belge işleme: 200 sayfalık bir raporu özetletmek için raporun tamamının pencereye sığması gerekir; sığmazsa model belgenin yalnızca bir bölümünü görür ve eksik çıkarım yapar.
• Talimatların geçerliliği: "Bana hep madde madde cevap ver" gibi kuralların pencerede kalması gerekir; kırpılınca model bu kuralı unutur.
• Çok adımlı görevler: Uzun bir plan ya da yazılım projesi üzerinde çalışırken başta alınan kararların pencerede duruyor olması gerekir.
• Hız ve maliyet: Pencereye giren her token işlenir; sohbet uzadıkça cevaplar yavaşlar ve maliyet artar.

Geniş pencere tek başına sihirli çözüm değildir. Araştırmalar, metin uzadıkça modelin ortadaki bilgilere dikkatinin azaldığını gösteriyor: model uzun bir belgede başa ve sona, ortaya kıyasla daha iyi odaklanır. Bu yüzden model seçerken yalnızca pencere büyüklüğüne bakmak yanıltıcıdır; ölçütleri birlikte değerlendirmek için yapay zekâ modeli karşılaştırma dersine bakabilirsin.

Sık yapılan hatalar ve yanılgılar

• "Model beni hatırlıyor." Hayır; modelin sohbetler arasında kalıcı hafızası yoktur. Her cevapta penceredeki metni yeniden okur, yeni bir sohbet açtığında önceki konuşmadan habersizdir.
• "Context window, modelin bilgisi demektir." Pencere geçici çalışma alanıdır; modelin genel bilgisi eğitimden gelir ve pencereyle değişmez.
• "Sohbette öğrettiklerimi kalıcı olarak öğrenir." Vermiş olduğun örnekler modeli yeniden eğitmez; sohbet kapanınca penceredeki her şey biter.
• "Pencere genişse hiçbir şeyi kaçırmaz." Geniş pencerelerde bile model aradaki bilgiyi gözden kaçırabilir; kritik bilgiyi metnin başına ya da sonuna koymak işe yarar.
• "Unutma sadece küçük bir aksaklıktır." Model baştaki talimatını kaybedince eksik bilgiyle cevap üretir; bu da bazen uydurmaya, yani hallüsinasyona yol açabilir.

Context window ile daha iyi çalışmak için ipuçları

1. Kritik talimatları başa yaz, gerekirse tekrarla. Uzun sohbetlerde önemli kuralları arada bir yeniden hatırlatmak, kırpılmaya karşı en basit sigortadır.
2. Uzun belgeyi olduğu gibi değil, özetleyerek ver. İlgili bölümlerin özeti hem pencerede yer açar hem daha isabetli cevap alınmasını sağlar.
3. Konulara göre yeni sohbet aç. Alakasız bir konuya geçerken eski sohbeti taşımak, pencereyi gereksiz doldurur.
4. Ölü mesajları temizle. Yanlış yönlenen denemeler ve gereksiz uzun cevaplar, değerli token alanını harcar.
5. Model seçerken pencereye de bak. Uzun belge işleyeceksen geniş pencereli bir model seç; kısa günlük işler için geniş pencere şart değildir.

Doğru yönlendirme tekniklerinin tamamı için prompt engineering dersimize, üretken modellerin genel çerçevesi için üretken yapay zekâ nedir? dersine göz atabilirsin.