Benj Edwards / Getty Images
Salı günü, Stanford Üniversitesi ve Kaliforniya Üniversitesi, Berkeley’den araştırmacılar, GPT-4’ün çıktılarında zaman içinde meydana gelen değişiklikleri gösterme iddiasında olan bir araştırma makalesi yayınladılar. Makale, AI dil modelinin son birkaç ay içinde kodlama ve kompozisyon görevlerinde daha da kötüleştiğine dair yaygın ancak kanıtlanmamış bir inancı besliyor. Bazı uzmanlar sonuçlara ikna olmadı, ancak kesinlik eksikliğinin OpenAI’nin model yayınlarını nasıl ele aldığına dair daha büyük bir soruna işaret ettiğini söylüyorlar.
“ChatGPT’nin Davranışı Zaman İçinde Nasıl Değişiyor?” arXiv, Lingjiao Chen, Matei Zaharia ve James Zou’da yayınlanan, OpenAI’nin büyük dil modellerinin (LLM’ler), özellikle GPT-3.5 ve GPT-4’ün tutarlı performansı hakkında şüphe uyandırdı. kullanma API erişimi, bu modellerin Mart ve Haziran 2023 sürümlerini matematik problemi çözme, hassas soruları yanıtlama, kod oluşturma ve görsel akıl yürütme gibi görevlerde test ettiler. En önemlisi, GPT-4’ün asal sayıları belirleme yeteneğinin Mart ayındaki yüzde 97,6’lık doğruluktan Haziran’da yalnızca yüzde 2,4’e önemli ölçüde düştüğü bildirildi. Garip bir şekilde, GPT-3.5 aynı dönemde iyileştirilmiş performans gösterdi.
Chen/Zaharia/Zou
Bu çalışma, GPT-4’ün son birkaç aydır performansında öznel olarak düşüş yaşadığından sık sık şikayet eden insanların hemen ardından geldi. Çıktıyı hızlandırma ve GPU kaynaklarını koruma arayışında hesaplama yükünü azaltmak için OpenAI “damıtma” modellerini, istenmeyen etkileri olabilecek zararlı çıktıları azaltmak için ince ayarı (ek eğitim) ve OpenAI’nin GPT-4’ün kodlama yeteneklerini azaltarak daha fazla insanın GitHub Copilot için ödeme yapmasını sağlama gibi desteklenmeyen komplo teorilerini neden içerdiğine dair popüler teoriler.
Bu arada OpenAI, GPT-4’ün kapasitesinin azaldığı iddialarını sürekli olarak reddetti. Daha geçen Perşembe, OpenAI Ürün Başkan Yardımcısı Peter Welinder tweet attı, “Hayır, GPT-4’ü daha aptal yapmadık. Tam tersine: her yeni sürümü bir öncekinden daha akıllı hale getiriyoruz. Şu anki hipotez: Daha yoğun kullandığınızda, daha önce görmediğiniz sorunları fark etmeye başlıyorsunuz.”
Bu yeni çalışma, GPT-4 eleştirmenlerinin önsezilerini kanıtlamak için dumanı tüten bir silah gibi görünse de, diğerleri o kadar hızlı olmadığını söylüyor. Princeton bilgisayar bilimi profesörü Arvind Narayanan, bulgularının GPT-4’ün performansında kesin bir düşüş olduğunu kanıtlamadığını ve potansiyel olarak OpenAI tarafından yapılan ince ayar düzenlemeleriyle tutarlı olduğunu düşünüyor. Örneğin, kod oluşturma yeteneklerinin ölçülmesi açısından, çalışmayı kodun doğruluğundan çok çalıştırılma yeteneğinin aciliyetini değerlendirdiği için eleştirdi.
“Bildirdikleri değişiklik, daha yeni GPT-4’ün çıktısına kod olmayan metin eklemesidir. Kodun doğruluğunu değerlendirmiyorlar (garip),” tweet attı. “Yalnızca kodun doğrudan yürütülebilir olup olmadığını kontrol ediyorlar. Bu nedenle, yeni modelin daha yararlı olma girişimi, buna karşı sayılır.”
