Yapay Zeka Neden Uydurur? Halüsinasyon Rehberi
Yapay Zeka Neden Uydurur? Halüsinasyonu Anlama Kılavuzu
Geçen hafta kendi ürünümde bir hata avlıyordum. Asistana Google'ın en yeni yapay zeka modellerini sordum. Bana dört model adı saydı, her birinin özelliklerini anlattı, sonunda üç tane de kaynak linki verdi.
Modellerden biri hiç var olmamıştı. Linklerden biri de öyle.
İşin can sıkıcı tarafı, cevabın hiçbir yerinde tereddüt yoktu. Doğru bildiği şeyleri hangi tonda anlatıyorsa uydurduğu şeyi de aynı tonda anlattı. Ben o alanda çalıştığım için fark ettim. Fark etmeseydim, o bilgiyi alıp bir yere yazacaktım.
Bu yazı, o iki saatte öğrendiklerimin üzerine kurulu. Yapay zekanın neden uydurduğunu, uydurmanın iki farklı türünü, kullanıcı olarak bunu nasıl yakalayabileceğinizi ve mesleğiniz gereği yanlış bilgiye tahammülü olmayan bir işte çalışıyorsanız ne yapmanız gerektiğini anlatacağım.
Halüsinasyon Nedir, Neden Bu Kadar Yaygın
Yapay zeka modelleri bir veritabanından bilgi çekmiyor. Bir sonraki kelimenin ne olması gerektiğini tahmin ediyorlar. Milyarlarca metin üzerinde eğitildikleri için bu tahmin çoğu zaman şaşırtıcı derecede doğru çıkıyor.
Ama modelin içinde "biliyorum" ile "bilmiyorum" arasında keskin bir sınır yok. Emin olduğu bir cümleyi de, hiç görmediği bir konuda ürettiği bir cümleyi de aynı mekanizmayla kuruyor. İkisi de akıcı, ikisi de dilbilgisi açısından kusursuz, ikisi de aynı özgüvenle yazılmış oluyor.
Halüsinasyon dediğimiz şey işte bu: modelin gerçekte var olmayan bir bilgiyi, gerçekmiş gibi ve emin bir tonda üretmesi.
Türkçede "uydurma" kelimesi biraz haksızlık ediyor aslında, çünkü uydurmak niyet gerektirir. Model yalan söylemeye çalışmıyor. Sadece boşluğu, o boşluğa en çok benzeyen şeyle dolduruyor.
İki Farklı Halüsinasyon Türü Var ve Biri Çok Daha Tehlikeli
İnternette bu konuda yazılanların çoğu halüsinasyonu tek bir şey sanıyor. Değil. En az iki farklı tür var ve bunları ayırmak, kendinizi korumanın ilk adımı.
Birinci tür: Modelin hiç bilmediği şeyi uydurması
Klasik olan bu. Modele hiç duymadığı bir konuyu sorarsınız, o da kalıptan üretir.
En bilinen örneği hukuk alanından: yapay zekaya bir dava için emsal karar sorulur, model gerçekte hiç verilmemiş bir mahkeme kararını, dosya numarasıyla ve tarihiyle birlikte üretir. Karar numarası formatı doğrudur, mahkeme adı gerçektir, tarih makuldür. Sadece o karar hiç var olmamıştır.
Aynısı akademik kaynaklar için de geçerli. Var olmayan bir makale, gerçek bir derginin adıyla, gerçek bir yazarın adıyla, uydurma bir cilt ve sayfa numarasıyla karşınıza çıkar.
Bu türün bir avantajı var: doğrulanabilir. Numarayı arattığınızda sonuç çıkmaz, iş biter.
İkinci tür: Eski bilgiyi güncel diye sunması
Asıl tehlikeli olan bu ve çok daha az konuşuluyor.
Burada model hiçbir şey uydurmuyor. Elindeki bilgi gerçek. Sadece o bilgi eski ve model bunu bilmiyor, ya da bilse bile size söylemiyor.
Benim yaşadığım şey tam olarak buydu. Asistan aslında internette arama yapıyordu. Arama sonuçları da gerçekti. Ama dönen kaynaklar üç ay öncesine aitti ve model o eski sayfaları sadakatle özetleyerek bana "en güncel durum bu" dedi.
Neden tehlikeli: doğrulamaya kalktığınızda bilgi doğru çıkıyor. Sadece artık geçerli değil.
Mevzuat için düşünün. Bir kanun maddesi değişmiştir, model size değişiklikten önceki halini anlatır. Anlattığı metin gerçektir, bir zamanlar yürürlükteydi, hatta arattığınızda bulursunuz. Ama bugün geçerli olan o değildir.
Bir tebliğ yürürlükten kalkmıştır, model hâlâ ondan bahseder. Bir ilacın kullanım önerisi güncellenmiştir, model eski öneriyi verir. Bir vergi oranı değişmiştir, model eski oranla hesaplar.
Arama Yapan Yapay Zeka Neden Hâlâ Uyduruyor
"Ama benim kullandığım araç internete bakıyor" diyorsanız, haklısınız ama bu tek başına yetmiyor. Üç ayrı sebep var.
Model kendi bilgi sınırını yanlış tahmin ediyor
Bir modele "bugünün gündemi ne" diye sorduğunuzda bilemeyeceğini bilir ve arar. Ama "şu şirketin yeni ürünleri neler" diye sorduğunuzda kendine güvenir, çünkü eğitim verisinde o şirket hakkında binlerce sayfa vardır. Arama yapmaya gerek görmez.
Sorun şu ki eğitim verisi bir tarihte donmuştur. Model o tarihten sonrasını bilmez ama bilmediğini de bilmez.
Arama motoru eski sonuç döndürebilir
Arama motorları yeni yayınlanan içeriği indekslemek için zaman ister. Bir gelişme üç gün önce olduysa, arama sonuçlarının en üstünde hâlâ üç ay önceki yazılar durabilir.
Benim vakamda tam olarak bu oldu. Arama motorunun kendi özeti bile yanlıştı: eski bir sürümü "en yeni" diye tanımlıyordu, gerçek yenisi çıktıktan günler sonra.
Model, arama sonucu ile kendi bilgisi çeliştiğinde kararsız kalıyor
Bu en ince nokta. Modele hem eski bir arama sonucu hem de kendi eğitim verisi geliyor. İkisi çelişiyorsa hangisini seçeceğine dair net bir kuralı yok. Bazen aramaya güveniyor, bazen kendine.
Aynı soruyu iki kez sorduğunuzda farklı cevaplar almanızın sebeplerinden biri bu.
Halüsinasyonun En Sık Görüldüğü Beş Alan
Yapay zeka her konuda eşit oranda uydurmuyor. Riskin yoğunlaştığı belirli alanlar var ve bunları bilmek dikkatinizi doğru yere yöneltmenizi sağlıyor.
Mevzuat ve içtihat. Kanun maddeleri, tebliğ numaraları, mahkeme kararları. Bu alanda halüsinasyon riski en yüksek, çünkü format çok düzenli. Model bir karar numarasının nasıl göründüğünü öğrenmiştir, o kalıba uygun yeni bir numara üretmek onun için kolaydır.
Rakamlar ve oranlar. Vergi oranları, faiz oranları, limitler, eşik değerler. Bunlar hem sık değişir hem de modelin eğitim verisinde birden fazla yıla ait versiyonları bulunur. Model hangisinin güncel olduğunu ayırt etmekte zorlanır.
Ürün ve sürüm adları. Yazılım sürümleri, model adları, cihaz isimleri. Teknoloji alanında her ay yeni bir şey çıkar ve modelin eğitim verisi bir noktada durur. Benim yaşadığım vaka tam olarak buydu.
Tarihler. Bir düzenlemenin yürürlük tarihi, bir olayın gerçekleşme tarihi, bir sürümün çıkış tarihi. Model tarih üretmekte çok rahattır ve ürettiği tarih genellikle makul görünür.
Bağlantılar ve kaynak adresleri. Bir sitenin adres yapısını öğrenen model, o yapıya uygun ama var olmayan adresler üretebilir. Adres mantıklı görünür, alan adı gerçektir, sadece o sayfa hiç olmamıştır.
Bu beş alanın ortak özelliği şu: hepsinde bilginin belirli bir formatı var ve model o formatı taklit edebiliyor. Genel açıklamalarda halüsinasyon daha nadir, çünkü orada taklit edilecek keskin bir kalıp yok.
Kullanıcı Olarak Halüsinasyonu Nasıl Yakalarsınız
Teknik bilgi gerektirmeyen, herkesin uygulayabileceği yöntemler:
Kaynak isteyin, ama linke tıklayın. "Kaynak ver" demek yetmiyor, çünkü model uydurma link de üretebiliyor. Link kalıbı doğru görünür, adres yapısı mantıklıdır, ama açtığınızda sayfa yoktur. Tıklamadan güvenmeyin.
Tarih sorun. "Bu bilgi hangi tarihe ait" diye sorun. Cevap veremiyorsa ya da tarih eskiyse, o bilgiyi güncel kabul etmeyin. İkinci tür halüsinasyonu yakalamanın en pratik yolu bu.
Aynı soruyu farklı şekilde sorun. Cevaplar tutarsızsa model tahmin yürütüyor demektir. Emin olduğu şeyleri her seferinde aynı şekilde anlatır.
Özel isimlere ve rakamlara dikkat edin. Halüsinasyon en çok burada oluşur: ürün adı, sürüm numarası, karar numarası, tarih, oran, madde numarası. Genel açıklamalar genelde doğrudur, spesifik veriler risklidir.
Bilmediği bir şey sorup test edin. Uydurduğunuz bir kavramı sorun. Model "böyle bir şey bilmiyorum" diyorsa iyiye işaret. Size uzun uzun açıklıyorsa, o araçla çalışırken dikkatli olun.
Soruyu Nasıl Sorarsanız Uydurma İhtimali Düşer
Halüsinasyon tamamen kullanıcının kontrolünde değil ama sorunun kurulma şekli riski belirgin biçimde etkiliyor.
Modele çıkış kapısı bırakın. "Bilmiyorsan bilmediğini söyle" cümlesini soruya eklemek işe yarıyor. Model varsayılan olarak cevap vermeye programlanmıştır; ona cevap vermemenin de kabul edilebilir olduğunu söylediğinizde boşluk doldurma eğilimi azalır.
Kapalı uçlu sorun. "Bu konuda ne biliyorsun" demek yerine "şu belgede şu bilgi geçiyor mu" diye sorun. Model elindeki metne bakmak zorunda kalır, hafızasından üretmesi zorlaşır.
Kendi kaynağınızı verin. En güvenli kullanım şekli bu. Mevzuat metnini, sözleşmeyi, raporu doğrudan yapay zekaya verip onun üzerinden soru sorarsanız, model uydurmak yerine okumak zorunda kalır. Yorumlama hatası yapabilir ama var olmayan bir madde üretmesi çok daha zorlaşır.
Cevabın nereden geldiğini sorun. "Bunu neye dayanarak söyledin" sorusu güçlü bir testtir. Model somut bir kaynak gösteremiyorsa, o bilgi tahminden ibaret olabilir.
Emin olmadığı yerleri işaretlemesini isteyin. "Emin olmadığın kısımları belirt" talimatı, modelin kendi çıktısını derecelendirmesini sağlar. Kusursuz çalışmaz ama tamamen düz bir metne göre çok daha kullanışlıdır.
Bu yöntemlerin hiçbiri garanti vermiyor. Ama halüsinasyon bir olasılık meselesi olduğu için, olasılığı düşüren her müdahale birikimli fayda sağlıyor.
Mesleğiniz Yanlış Bilgiyi Kaldırmıyorsa
Bazı işlerde yanlış bilgi rahatsız edici bir hatadır. Bazılarında sonuç doğurur.
Avukatsanız: Uydurma bir emsal karara dayanan dilekçe, sadece davayı kaybettirmez. Meslek kurallarına aykırılık ve disiplin sorumluluğu tartışması doğurabilir. Yapay zeka çıktısını denetlemeden kullanmak, imzayı atan kişinin sorumluluğunu ortadan kaldırmaz.
Mali müşavirseniz: Yürürlükten kalkmış bir tebliğe göre yapılmış hesap, mükellefe cezalı tarhiyat olarak döner. Model size eski oranı verdiğinde bunu fark etmenin tek yolu, oranı birincil kaynaktan teyit etmektir.
Hekimseniz: Güncellenmiş bir kılavuzun eski sürümü, klinik karar için yanlış zemin oluşturur. Yapay zeka çıktısı hiçbir koşulda tanı ve tedavi kararının yerini almaz.
Ortak nokta şu: bu üç meslekte de "yapay zeka öyle dedi" diyebileceğiniz bir mercii yok. Sorumluluk imzayı atanda kalır.
Bunun pratik karşılığı basittir. Yapay zekayı bir hukuki, mali veya klinik bilginin kaynağı olarak değil, başlangıç noktası olarak kullanın. Size hangi maddeye bakacağınızı söylesin, o maddenin ne dediğini birincil kaynaktan siz okuyun.
Türkçede Risk Neden Daha Yüksek
Bu konuyu konuşurken az değinilen bir taraf var: halüsinasyon oranı dile göre değişiyor.
Yapay zeka modelleri ağırlıklı olarak İngilizce metinlerle eğitiliyor. İnternetteki içeriğin büyük kısmı İngilizce olduğu için modelin İngilizce bir konudaki bilgisi hem daha geniş hem daha derin oluyor.
Türkçe içerik bu havuzun içinde çok daha küçük bir yer tutuyor. Türk mevzuatı, Türkiye'ye özgü düzenlemeler, yerel kurumların yayınları, Türkçe akademik literatür. Bunların hepsi modelin gördüğü veride nispeten seyrek.
Sonuç şu: model Türkçe bir mevzuat sorusunda daha az veriyle çalışıyor ve boşluk doldurma ihtimali artıyor. Üstelik bunu yaparken akıcı bir Türkçeyle yapıyor, çünkü dilin kendisini iyi öğrenmiş durumda. Dilin akıcılığı ile bilginin doğruluğu birbirinden bağımsız iki şey.
Pratik sonucu: Türkiye'ye özgü bir konuda, özellikle mevzuat, kurum uygulaması veya yerel prosedür sorarken şüphe eşiğinizi yükseltin. Aynı model, aynı soruyu İngilizce ve Amerikan hukuku üzerinden sorduğunuzda çok daha isabetli cevap verebilir.
Bir de şu var: Türkçe bir kaynağı doğrulamak İngilizce bir kaynağı doğrulamaktan zor. Resmî kaynakların bir kısmı otomatik erişime kapalı, arama motorları bu siteleri her zaman iyi indekslemiyor. Yani hem halüsinasyon riski yüksek hem de kontrol maliyeti fazla.
Bir Yazılımcı Olarak Bu Sorunu Nasıl Çözdüm
Kendi ürünümde bu sorunu yaşayınca, çözümün ne olmadığını önce öğrendim.
İlk iki saatimi modele daha sıkı kurallar yazarak geçirdim. "Uydurma", "emin değilsen söyle", "mutlaka ara". Hiçbiri işe yaramadı. Çünkü model kuralı ihlal ettiğini düşünmüyordu. Kendi bilgisini yeterli sanıyordu ve o durumda aramaya gerek olmadığına kendisi karar veriyordu.
Sorunun modelde olmadığını anlamam, ham arama sonuçlarını ekrana yazdırmamla oldu. Log'a baktığımda arama sonuçlarının üç ay eski olduğunu gördüm. Model hiçbir kural ihlal etmiyordu, kendisine verilen çöpü düzgünce özetliyordu. İki saat boyunca yanlış katmanı düzeltmeye çalışmıştım.
Sonra üç şey yaptım:
Aramayı koda zorladım. Soru güncel bilgi gerektiriyorsa, modele arama yapıp yapmama seçeneği vermiyorum. İlk adımda arama zorunlu. Kural yazmak yetmiyorsa, kararı modelden almak gerekiyor.
Yayın tarihlerini görünür kıldım. Arama sonuçları modele giderken her kaynağın yayın tarihi de gidiyor artık. Ayrıca arama sonuçları son bir ayla sınırlandırılabiliyor. Model artık "bu kaynak eski" diyebiliyor, çünkü tarihi görüyor.
Doğrulanmamış linkleri engelledim. Arama gerçekten çalışmadıysa ve yanıtta bir bağlantı varsa, o bağlantı kullanıcıya gösterilmeden temizleniyor. Model kalıptan link üretebilir, ama o link kullanıcıya ulaşmıyor.
En etkili olan ikincisiydi. Tarihleri görünce model, arama motorunun kendi özeti yanlış olduğu halde, tarihli haber kaynağını tercih etti. Sorunu "bu modeli nasıl kısıtlarım" olmaktan çıkarıp "ona ne veriyorum" haline getirmek her şeyi değiştirdi.
Pratik Bir Doğrulama Alışkanlığı
Her cevabı baştan sona doğrulamak mümkün değil, zaten öyle olsa yapay zeka kullanmanın anlamı kalmaz. İşe yarayan şey, doğrulamayı riske göre ayarlamak.
Bir yapay zeka çıktısını üç kategoriye ayırın.
Doğrulama gerektirmeyen kısımlar. Metin düzenleme, özetleme, çeviri, taslak yazma, fikir üretme. Burada model kendi bilgisinden değil, sizin verdiğiniz malzemeden çalışıyor. Halüsinasyon riski düşük.
Hızlı kontrol gerektiren kısımlar. Genel açıklamalar, kavram tanımları, süreç anlatımları. Bunlar genelde doğrudur ama bir gözden geçirme yeterlidir. Konuya hakimseniz zaten yanlışı fark edersiniz.
Mutlaka birincil kaynaktan teyit gerektiren kısımlar. Madde numarası, oran, tarih, karar numarası, tebliğ adı, herhangi bir rakam. Bunları asla doğrudan kullanmayın. Model size nereye bakacağınızı söylesin, oraya siz bakın.
Bu ayrımı bir kez alışkanlık haline getirdiğinizde, hem hız kazanırsınız hem de riskli noktaları refleksle yakalarsınız. Sorun, yapay zekayı hiç kullanmamak veya her şeyine güvenmek arasında bir seçim yapmak zorunda olduğunuzu sanmaktan çıkıyor.
Halüsinasyon Tamamen Bitecek mi
Yakın vadede hayır.
Sebep mimari. Bu modeller olasılık üzerine çalışıyor ve olasılıkla üretilen her sistemde bir hata payı kalır. Modeller büyüdükçe hata oranı düşüyor ama sıfırlanmıyor.
Asıl gelişme model tarafında değil, modelin etrafında kurulan sistemlerde oluyor. Kaynak zorunluluğu, tarih kontrolü, doğrulama katmanları. Yani modelin kendisinden çok, ona ne verildiği ve çıktısının nasıl denetlendiği.
Kullanıcı açısından pratik sonuç şu: "hangi yapay zeka uydurmuyor" sorusunun cevabı yok. Doğru soru, "bu araç bana kaynağını gösteriyor mu ve o kaynağı ben doğrulayabiliyor muyum" sorusu.
Özet
Yapay zeka bilgi çekmiyor, tahmin üretiyor. Bu yüzden bilmediği yerde de aynı özgüvenle konuşuyor.
İki tür halüsinasyon var. Var olmayan bilgiyi uydurması nispeten kolay yakalanır. Eski bilgiyi güncel diye sunması ise doğrulama testini geçer, çünkü bilgi gerçekten vardır, sadece artık geçerli değildir.
Arama yapan araçlar da bu sorundan muaf değil. Model kendi bilgi sınırını yanlış tahmin edebilir, arama motoru eski sonuç döndürebilir, ikisi çeliştiğinde model kararsız kalabilir.
Kullanıcı olarak yapabilecekleriniz: kaynak isteyin ve linke tıklayın, tarih sorun, aynı soruyu farklı şekillerde sorun, özel isim ve rakamlara ekstra dikkat edin.
Mesleki sorumluluğunuz varsa, yapay zekayı bilginin kaynağı değil başlangıç noktası olarak kullanın. İmza sizde kalıyor.
İlgili yazılar: