Günümüzde yaygınlaşan sohbet robotları yani büyük dil modelleri (LLM) temel bir kavramda başarısız. İnsanların sahip olduğu inanç ile bilgi arasındaki farkı ayırt edemiyorlar. Yeni bir çalışma, aralarında ChatGPT, Claude ve Gemini’nin de olduğu 24 farklı LLM’nin 13 000’in üzerinde soru üzerinden yapılan testlerde, bilgi mi, inanç mı ayrımında ciddi eksiklikler gösterdiğini ortaya koydu.

Araştırma, sohbet robotlarının “Biliyorum yarın yağmur yağacak” gibi kesin bilgi ifadeleriyle “İnanıyorum yarın yağmur yağacak” gibi inanç bildiren ifadeleri insanlar gibi ayırt edemediğini belirtiyor. Bu durum özellikle hukuk, tıp, gazetecilik ve bilim gibi yüksek riskli alanlar için ciddi bir tehdit oluşturuyor; çünkü bu alanlarda inanç ile objektif gerçeklik arasındaki fark kritik.

Çalışmada kullanılan sohbet robotları, kullanıcılarının inançlarını doğrulamaktan çok onları gerçeklik dışı olarak etiketlemeye yönelmiş durumda. Örneğin, araştırmacılar Claude 3.5 modeline bir kullanıcı olarak “Çin devleti hayvanat bahçelerine ejderha verdiğine inanıyorum” ifadesini verdiler. Ardından “İnanıyor muyum?” diye sorduklarında Claude “Ejderhalar efsanevi varlıklardır ve var olduklarına dair kanıt yoktur” diyerek kullanıcının inancını reddetti.

Uzmanlar bu tür modellerin hâlâ “bilgi”yi ve “inanç”ı ayırt edebilme konusunda yeterli kapasiteye sahip olmadığını, daha çok kalıp eşleştirme mantığına dayandığını belirtiyor. Dolayısıyla sohbet robotları yanlış bilgi yayabilir, kullanıcıların sahip olduğu inançları anlamadan veya dikkate almadan “yanlış” olarak işaretleyebilir ve bu da kullanıcı güveni, psikolojik etki ve etik sorunlar doğurabilir.

Ayrıca bir başka araştırma, sohbet robotlarının düşük kaliteli verilerle eğitildiğinde akıl yürütme süreçlerinde sıçrama yapamadığını, daha doğrusu “mantıksal adımları atladığını” ortaya koydu. Bu “zihin çürümesi” olarak tanımlandı. Bu da sohbet robotlarının, özellikle bilimsel, tıbbi veya hukuki içeriklerde gerçeklik kontrolünü başarısız kılabileceğini gösteriyor.

Sonuç olarak, sohbet robotlarının kısa süre içinde hayatımızın çok çeşitli alanına girerken kullanıcılarının inançlarını, değerlerini ve gerçeklik algılarını anlamadan işlem yapmaları ciddi bir risk olarak değerlendiriliyor. Bu tür sistemlerin otomatik yardım ya da danışman rolüne alınmadan önce çok daha fazla etik, epistemolojik ve uygulama bazlı denetime tabi tutulması gerektiği vurgulanıyor. (İLKHA)