Yeni bir araştırmaya nazaran ChatGPT, bir lisans öğrencisiyle eşleşen yahut onu aşan seviyede sorun çözebiliyor.
Araştırmacılar, sohbet robotunun temelini oluşturan GPT-3 büyük lisan modelinin, zeka testlerinde yahut Amerikan üniversiteye giriş imtihanı SAT üzere imtihanlarda ortaya çıkan muhakeme sorunlarını çözmeleri istendiğinde ABD’li üniversite lisans öğrencileri kadar düzgün performans gösterdiği kaydedildi.
Los Angeles’taki California Üniversitesi’nden psikologlar, GPT-3’ün karmaşık bir haller dizisindeki bir sonraki manzarayı varsayım etme yeteneğini, manzaraları yapay zekanın anlayabileceği bir metin formatına dönüştürdükten ve GPT-3’ün sorularla daha evvel hiç karşılaşmadığından emin olduktan sonra test ettiler.
YÜZDE 80’İNİ GERÇEK ÇÖZDÜ
Problemler 40 UCLA lisans öğrencisine de uygulandı ve araştırmacılar GPT-3’ün sorunların yüzde 80’ini hakikat çözdüğünü, bu oranın insan iştirakçiler için yüzde 60’ın biraz altında kaldığını belirtti.
Araştırmacılar ayrıyeten modelden, internette yayınlanmadığına ve bu nedenle üzerinde eğitildiği büyük ölçüde bilgide yer alamayacağına inandıkları kimi “analoji” sorularını çözmesini istedi.
ÜNİVERSİTE ÖĞRENCİLERİNDEN DAHA GÜZEL PERFORMANS SERGİLEDİ
UCLA grubu, üniversite adaylarının SAT puanlarıyla karşılaştırıldığında, yapay zekanın beşerler için ortalama puandan daha âlâ performans gösterdiğini tespit etti.
GPT-4 DAHA UYGUN SONUÇ VERİYOR
Araştırmacılar modelden ve istekli öğrencilerden bu kere bir düzyazıyı birebir manası taşıyan farklı bir kısa öyküyle eşleştirmelerini istedi.
Nature Human Behaviour mecmuasında yayınlanan araştırmaya nazaran, GPT-3 bu testte öğrencilerden daha az başarılı oldu, fakat GPT-3’ün geliştirilmiş versiyonu olan GPT-4 evvelkinden daha âlâ sonuç verdi.
Çalışma, GPT-3’ün örüntüleri tespit etme ve bağlantıları çıkarma konusunda şaşırtan derecede güçlü bir kapasite sergilediğini, birçok ortamda insan yetenekleriyle eşleştiğini ve hatta onları aştığını ortaya koydu.
“KESİNLİKLE İNSAN DÜZEYİNDE BİR ZEKA DEĞİL”
Çalışmanın baş müellifi Taylor Webb, ChatGPT’yi yönlendiren modelin insan seviyesinde zeka standardında olmadığını söyledi.
Webb şu tabirlerle GPT’yi tanımladı; “Kesinlikle tam olarak genel insan düzeyinde bir zeka değil. Fakat belli bir alanda katiyetle ilerleme kaydetti”
UCLA araştırmacıları, San Francisco merkezli OpenAI şirketi tarafından geliştirilen GPT-3’ün iç işleyişine erişimleri olmadan, modelin muhakeme yeteneklerinin nasıl çalıştığını ve bir insan üzere mi düşündüğünü yoksa yeni bir zeka biçimi mi gösterdiğini belirleyemediklerini de kelamlarına ekledi.
UCLA psikoloji profesörü Keith Holyoak, “GPT-3 bir cins insan üzere düşünüyor olabilir. Fakat öte yandan, beşerler tüm interneti yutarak öğrenmediler, hasebiyle eğitim metodu büsbütün farklı. Nitekim insanların yaptığı üzere mi yapıyor yoksa gerçek bir yapay zeka mı? bilmek isteriz ki bu da başlı başına şaşırtan olurdu.” tabirlerini kullandı.
