ChatGPT gibi dil modelleri, doğal dil işleme alanında devrim yarattı, ancak yine de aritmetik ve doğruluk kontrolü gibi bazı temel görevlerde zorlanıyorlar. Geçen Perşembe günü, Meta’dan araştırmacılar, temel dil modelleme yeteneklerinden ödün vermeden arama motorları, hesap makineleri ve takvimler gibi harici araçları kullanmayı kendi kendine öğretebilen bir AI dil modeli olan Toolformer’ı ortaya çıkardı.
Toolformer’ın anahtarı, farklı uygulamaların birbiriyle genellikle kesintisiz ve otomatik bir şekilde iletişim kurmasına olanak tanıyan bir dizi protokol olan API’leri (uygulama programlama arabirimleri) kullanabilmesidir. Eğitim sırasında araştırmacılar, Toolformer’a her bir API’nin nasıl kullanıldığını gösteren, insanlar tarafından yazılmış küçük bir dizi örnek verdi ve ardından, potansiyel API çağrılarıyla büyük bir dil modelleme veri kümesine açıklama eklemesine izin verdi. Bunu “kendi kendini denetleyen” bir şekilde yaptı, yani açık insan rehberliğine ihtiyaç duymadan öğrenebiliyordu.
Model, metin tabanlı her bir API çağrısını başka herhangi bir metin biçimiymiş gibi tahmin etmeyi öğrendi. Çalışırken -bir insan girişinin sonucu olarak metin oluştururken- gerektiğinde aramaları ekleyebilir. Ayrıca, Toolformer uygun bağlam için hangi aracın kullanılacağına ve nasıl kullanılacağına kendisi “karar verebilir”.
Bu API çağırma yeteneği, Toolformer’ın arama motorları, hesap makineleri, dil çevirmenleri ve olgusal referanslar gibi harici yazılım araçlarını kullanmasını sağlar. Örneğin, büyük dil modelleri (LLM) aritmetikte özellikle iyi olmamak. Toolformer, bir hesap makinesi programı kullanarak bu sınırlamanın üstesinden gelebilir. Ya da birisi LLM tabanlı bir asistanın takvimine tarih eklemesini isterse, Toolformer bir takvim uygulamasına API bağlantısı kullanarak bu görevi halledebilir.
Toolformer tabanlıdır önceden eğitilmiş bir GPT-J modelinde 6,7 milyar parametre ile. Araştırmacılar tarafından çeşitli araç kullanma görevlerinde gerçekleştirilen deneyler, Toolformer’ın 175 milyar parametre içeren çok daha büyük GPT-3 modelinden çok daha güçlü performans elde ettiğini gösteriyor gibi görünüyor.
Bu, araştırmacıların dil modellerindeki sınırlamaları telafi etmeye çalıştıkları ilk sefer değil. Hatta bu hafta haber olan yeni Bing Chat modeli, ihtiyaç duyulduğunda kendi başına web aramaları yapabiliyor ve diğerleri tarayıcılar, hesap makineleri ve arama motorları ile entegrasyonlar denedi. Meta’nın araştırmacılarına göre, araçları dil modellerine entegre etmeye yönelik mevcut yaklaşımların çoğu, büyük miktarlarda insan ek açıklamalarına dayanmış veya göreve özgü belirli ayarlarla sınırlandırılmıştır. Buna karşın Toolformer, belirli görevler için özel eğitim gerektirmeden bir dizi aracı genelleştirilmiş bir şekilde kullanmayı öğrenebilir.
Toolformer’da bulunanlar gibi tekniklerle, harici uygulamaları kullanma becerisiyle zenginleştirilmiş LLM’lerin (görünüşte) çok daha çok yönlü ve güvenilir asistanlar haline geleceği potansiyel bir geleceğe bakıyoruz. Ancak API çağrıları gerçekleştirme yeteneği, bir LLM’nin kullanıcı verilerine zarar verme (uygulamalarda) veya dış dünyada sorun yaratma (bir web tarayıcısı veya iletişim araçları aracılığıyla) yeteneğini de artırabilir; .