ChatGPT bir sonraki kelimeyi nasıl seçiyor?

ChatGPT'ye bir soru soruyorsun, cevap ekrana akmaya başlıyor. Sanki önce düşünmüş, sonra yazmış gibi. Aslında öyle değil. ChatGPT cevabını tek seferde yazmıyor; her seferinde sadece tek bir parçayı tahmin ediyor.

Önce metin parçalara bölünüyor

ChatGPT gibi modeller metni kelime kelime değil, token denen parçalar hâlinde görüyor. Token bazen bütün bir kelime, bazen de bir kelimenin bir parçası oluyor. OpenAI'a göre İngilizcede bir token ortalama 4 karakter, yani bir kelimenin yaklaşık dörtte üçü kadar. Yani her token bir kelime değil.

Asıl iş: sıradaki parçayı tahmin etmek

Modelin temel görevi şu: o ana kadar yazılmış bütün token'lara bakıp bir sonrakini tahmin etmek. Bunu yaparken tek bir cevap vermiyor. Sözlüğündeki her token için bir olasılık hesaplıyor. Sözlük dediğimiz de küçük bir liste değil; GPT-3'ün sözlüğünde tam 50.257 token vardı.

Bir örnekle düşünelim. Metin "Bugün hava çok ..." diye bitiyorsa model "güzel" kelimesine yüksek, "sıcak" kelimesine biraz daha düşük, "soğuk" kelimesine daha da düşük bir olasılık verebilir. Sözlükteki öbür token'ların neredeyse hepsi ise çok küçük bir ihtimal alıyor.

Seç, ekle, tekrarla

Sonra bu adaylardan biri seçiliyor. Çoğu zaman bu seçim olasılıklara göre bir tür kura gibi yapılıyor. Seçilen token metne ekleniyor ve model aynı işi yeniden yapıyor: yeni metne bakıyor, sıradakini tahmin ediyor, seçiyor, ekliyor. Cevap bitene kadar bu döngü sürüyor. Yani ChatGPT bütün bir cümleyi aynı anda kurmuyor; cümle parça parça büyüyor.

Sıcaklık ayarı ne işe yarıyor?

Bu seçimin ne kadar rastgele olacağını sıcaklık denen bir ayar belirliyor. Sıcaklık düşükse model hep en güvenli kelimeleri seçiyor, metin daha tahmin edilebilir oluyor. Sıcaklık yükseldikçe daha az olası kelimeler de şans buluyor ve metin daha çeşitli, daha şaşırtıcı hâle geliyor.

Hangi kelime önemli?

Bütün bunların altında Transformer diye bir yapı var. Bunu Google araştırmacıları 2017'de "Attention Is All You Need" adlı makalede tanıttı. İçindeki dikkat mekanizması, yani attention, sıradaki kelime için önceki kelimelerden hangisinin daha önemli olduğunu tartıyor. "Bugün hava çok ..." cümlesinde "hava" kelimesinin ağır basması gibi.

Peki bu kadar akıllı nasıl görünüyor?

İşin sırrı ölçekte. 2020'de çıkan GPT-3'te 175 milyar parametre vardı. Parametre, eğitim sırasında devasa miktarda metinle ayarlanan sayılar demek. ChatGPT ise buna ek olarak insan geri bildirimiyle, yani RLHF denen yöntemle eğitildi ki cevapları talimatlara uysun. ChatGPT 30 Kasım 2022'de kullanıma açıldı.

Bu senin için ne anlama geliyor?

ChatGPT bir veritabanından hazır cevap çekmiyor; olası metni tahmin ediyor. Bu yüzden bazen çok emin bir dille yanlış şeyler söyleyebiliyor. Buna halüsinasyon deniyor. Yani ChatGPT'nin cevabı akıcı diye doğru olmak zorunda değil. Önemli bir bilgiyi, özellikle bir tarih, sayı ya da isimse, başka bir kaynaktan kontrol etmek hâlâ en iyisi.