Stabil Difüzyon / OpenAI
Salı günü OpenAI, büyük dil modeli API tekliflerinde (GPT-4 ve gpt-3.5-turbo dahil) yeni bir işlev çağırma yeteneği, önemli maliyet indirimleri ve gpt- 3.5 turbo modeli.
Büyük dil modellerinde (LLM’ler), “bağlam penceresi” bilgi istemi girişinin içeriğini veya bir sohbet robotu söz konusu olduğunda, devam eden konuşmanın tüm içeriğini depolayan kısa süreli bir bellek gibidir. Anthropic’in yakın zamanda Claude dil modeli için 75.000 belirteçlik bir bağlam penceresi seçeneği duyurmasıyla, dil modellerinde artan bağlam boyutu teknolojik bir yarış haline geldi. Ayrıca OpenAI, GPT-4’ün 32.000 tokenlik bir sürümünü geliştirdi, ancak henüz halka açık değil.
Bu doğrultuda OpenAI, şaşırtıcı bir şekilde “gpt-3.5-turbo-16k” olarak adlandırılan, gpt-3.5-turbo’nun yeni bir 16.000 bağlam penceresi sürümünü piyasaya sürdü ve bu, bir istemin 16.000 belirteç uzunluğunda olmasına izin veriyor. Standart 4.000 sürümün dört katı içerik uzunluğuna sahip olan gpt-3.5-turbo-16k, tek bir istekte yaklaşık 20 sayfalık metni işleyebilir. Bu, modelin daha büyük metin parçalarını işlemesini ve yanıtlar oluşturmasını gerektiren geliştiriciler için önemli bir destektir.
Duyuru gönderisinde ayrıntılı olarak ele alındığı gibi, OpenAI, GPT API’lerinde en az dört büyük yeni değişiklik daha listeledi:
- Sohbet Tamamlamalar API’sinde işlev çağırma özelliğinin tanıtılması
- GPT-4 ve gpt-3.5-turbo’nun geliştirilmiş ve “daha yönlendirilebilir” sürümleri
- Ada gömme modelinde yüzde 75 indirim
- gpt-3.5-turbo için giriş jetonlarında yüzde 25’lik bir fiyat indirimi.
İşlev çağırma ile geliştiriciler artık harici araçları çağırabilen, doğal dili harici API çağrılarına dönüştürebilen veya veritabanı sorguları yapabilen sohbet robotlarını daha kolay bir şekilde oluşturabilir. Örneğin, “Anya’ya gelecek Cuma kahve içmek isteyip istemediğini öğrenmek için e-posta gönder” gibi istemleri “send_email(to: string, body: string)” gibi bir işlev çağrısına dönüştürebilir. Özellikle bu özellik, API kullanıcılarının daha önce oluşturmakta zorlandıkları tutarlı JSON biçimli çıktıya da izin verecektir.
LLM’nin istediğiniz gibi davranmasını sağlama süreci için süslü bir terim olan “yönlendirilebilirlik” ile ilgili olarak OpenAI, yeni “gpt-3.5-turbo-0613” modelinin “sistem mesajı aracılığıyla daha güvenilir yönlendirilebilirliği” içereceğini söylüyor. .” API’deki sistem mesajı, “Sen Grimace’sin. Sen sadece milkshake’lerden bahsediyorsun” gibi, modele nasıl davranması gerektiğini söyleyen özel bir yönerge istemidir.
İşlevsel iyileştirmelere ek olarak, OpenAI önemli maliyet indirimleri sunuyor. Özellikle, popüler gpt-3.5-turbo’nun giriş jetonlarının fiyatı yüzde 25 oranında düşürüldü. Bu, geliştiricilerin artık bu modeli 1.000 giriş jetonu başına yaklaşık 0,0015 ABD Doları ve 1.000 çıkış jetonu başına 0,002 ABD Doları karşılığında kullanabilecekleri anlamına gelir; bu, dolar başına kabaca 700 sayfaya eşittir. gpt-3.5-turbo-16k modeli, 1.000 giriş jetonu başına 0,003 ABD Doları ve 1.000 çıkış jetonu başına 0,004 ABD Doları olarak fiyatlandırılır.
Benj Edwards / Ars Technica
Ayrıca, OpenAI, kullanımda konuşma kardeşlerinden daha ezoterik olan “text-embedding-ada-002” gömme modeli için yüzde 75’lik devasa bir maliyet düşüşü sunuyor. Gömme modeli, bilgisayarlar için çevirmen gibidir; metin arama ve ilgili içerik önerme gibi görevler için önemli olan, sözcükleri ve kavramları makinelerin anlayabileceği sayısal bir dile dönüştürür.
OpenAI, modellerini güncellemeye devam ettiğinden, eski modeller sonsuza kadar ortalıkta olmayacak. Bugün şirket, gpt-3.5-turbo-0301 ve gpt-4-0314 dahil olmak üzere bu modellerin bazı önceki sürümlerinin kullanımdan kaldırılma sürecini başlattığını da duyurdu. Şirket, geliştiricilerin bu modelleri 13 Eylül’e kadar kullanmaya devam edebileceklerini ve bundan sonra eski modellere artık erişilemeyeceğini söylüyor.
OpenAI’nin GPT-4 API’sinin hala bir bekleme listesinin arkasında kilitli olduğunu ve yine de yaygın olarak kullanılabilir olduğunu belirtmekte fayda var.
