yolculuk ortası
Salı günü Meta, ticari lisansıyla dikkat çeken yeni bir yapay zeka dil modelleri ailesi olan Llama 2’yi duyurdu; bu, modellerin selefinden farklı olarak ticari ürünlere entegre edilebileceği anlamına geliyor. Meta’ya göre boyutları 7 ila 70 milyar parametre arasında değişiyor ve bildirildiğine göre “test ettiğimiz çoğu kıyaslamada açık kaynaklı sohbet modellerinden daha iyi performans gösteriyor”.
“Bu, LLM pazarının manzarasını değiştirecek” tweet attı Baş AI Bilim İnsanı Yann LeCun. “Llama-v2, Microsoft Azure’da mevcuttur ve AWS, Hugging Face ve diğer sağlayıcılarda mevcut olacaktır.”
Meta’ya göre, Llama 2 “önceden eğitilmiş” modelleri (çıplak kemik modelleri) 2 trilyon jeton üzerinde eğitilmiştir ve 4.096 jetonluk (kelime parçaları) bir bağlam penceresine sahiptir. Bağlam penceresi, modelin bir kerede işleyebileceği içeriğin uzunluğunu belirler. Meta ayrıca, ChatGPT’ye benzer sohbet uygulamaları için geliştirilen Llama 2 ince ayarlı modellerin “1 milyondan fazla insan ek açıklaması” üzerinde eğitildiğini söylüyor.
Performans açısından OpenAI’nin GPT-4’üyle eşleşemese de, Llama 2, kaynakta mevcut bir model için görünüşe göre iyi durumda. Buna göre jim fanı, Nvidia’da kıdemli yapay zeka bilimcisi, “70B, akıl yürütme görevlerinde GPT-3.5’e yakın, ancak kodlama kıyaslamalarında önemli bir boşluk var. Çoğu kıyaslamada PaLM-540B’ye eşit veya ondan daha iyi, ancak yine de GPT-4’ün çok gerisinde ve PALM-2-L” Llama 2’nin performansı, kriterleri ve yapısı hakkında daha fazla ayrıntı Meta tarafından Salı günü yayınlanan bir araştırma makalesinde bulunabilir.
Meta
Şubat ayında Meta, Llama 2’nin öncüsü olan LLaMA’yı ticari olmayan bir lisansla kaynakta mevcut olarak piyasaya sürdü. Resmi olarak yalnızca belirli kimlik bilgilerine sahip akademisyenler tarafından kullanılabilen, kısa süre sonra birisi LLaMA’nın ağırlıklarını (eğitilmiş sinir ağlarının parametre değerlerini içeren dosyalar) torrent sitelerine sızdırdı ve bunlar AI topluluğunda geniş çapta yayıldı. Yakında, LLaMA’nın Alpaca gibi ince ayarlı varyasyonları ortaya çıktı ve hızla büyüyen bir yeraltı LLM geliştirme sahnesinin tohumunu sağladı.
Llama 2, “önceki takvim ayında aylık 700 milyondan fazla aktif kullanıcıya” sahip potansiyel lisans sahiplerinin, onu kullanmak için Meta’dan özel izin istemesi gerekmesine rağmen, ticari kullanım izniyle bu etkinliği daha açık bir şekilde açığa çıkarır. engelleyen Amazon veya Google büyüklüğündeki devler tarafından ücretsiz kullanımı.
Açık yaklaşımın gücü ve tehlikesi
Mevcut ağırlıklara sahip açık AI modelleri, amatörler ve sansürsüz sohbet robotları arayan kişiler arasında popülerliğini kanıtlamış olsa da, tartışmalı olduklarını da kanıtladılar. Meta, büyük açık lisanslı ve ağırlıkları mevcut temel modellerini desteklemede teknoloji devleri arasında tek başına durmakla dikkat çekerken, kapalı kaynak köşesinde OpenAI, Microsoft ve Google yer alıyor.
Eleştirmenler, açık kaynaklı yapay zeka modellerinin sentetik biyolojide kötüye kullanım veya spam veya dezenformasyon oluşturma gibi potansiyel riskler taşıdığını söylüyor. Bu tür kullanımlar Meta’nın hizmet şartlarını ihlal etse de, Llama 2’nin bu rollerden bazılarını yerine getirdiğini hayal etmek kolaydır. Şu anda, birisi OpenAI’nin ChatGPT API’si ile kısıtlanmış eylemler gerçekleştirirse, erişim iptal edilebilir. Ancak açık yaklaşımda, ağırlıklar bir kez bırakıldığında artık geri alınamaz.
Bununla birlikte, yapay zekaya açık bir yaklaşımın savunucuları, genellikle, açık kullanılabilir yapay zeka modellerinin şeffaflığı teşvik ettiğini (onları yapmak için kullanılan eğitim verileri açısından), ekonomik rekabeti teşvik ettiğini (teknolojiyi dev şirketlerle sınırlamadan), ifade özgürlüğünü teşvik ettiğini (sansür yok) ve yapay zekaya erişimi demokratikleştirdiğini (ödeme duvarı kısıtlamaları olmaksızın) tartışırlar.
Belki de piyasaya sürülmesiyle ilgili olası eleştirilerin önüne geçen Meta, “Bugünün Yapay Zekasına Meta’nın Açık Yaklaşımına Destek Beyanı” da yayınladı: “Yapay zekaya açık inovasyon yaklaşımını destekliyoruz. Sorumlu ve açık inovasyon, bu teknolojilere görünürlük, inceleme ve güven getirerek yapay zeka geliştirme sürecinde hepimize bir pay veriyor. Bugünün Llama modellerini açmak, herkesin bu teknolojiden faydalanmasını sağlayacak.”
Salı öğleden sonra bildiri, Drew Houston (Dropbox CEO’su), Matt Bornstein (Andreessen Horowitz’in Ortağı), Julien Chaumond (Hugging Face’in CTO’su), Lex Fridman (araştırma bilimcisi) gibi yönetici ve eğitimcilerden oluşan bir liste tarafından imzalandı. MIT’de) ve Paul Graham (Y Combinator’ın Kurucu Ortağı).
Llama 2, mevcut ağırlıklarla açık bir şekilde lisanslanmış olmasına rağmen, Meta, Mozilla’nın Trustworthy AI Kıdemli Üyesi Abeba Birhane’nin kullandığı Llama 2 modellerinin oluşturulmasında kullanılan eğitim verilerinin kaynağını açıklamadı. işaret etti Twitter’dan. Eğitim verilerinin şeffaflığının olmaması, bazı LLM eleştirmenleri için hala bir anlaşmazlık noktasıdır çünkü bu LLM’lere “bildiklerini” öğreten eğitim verileri, genellikle mahremiyet veya ticari etki pek dikkate alınmadan İnternet’in yetkisiz bir şekilde kazınmasından gelir. Meta, Llama 2 araştırma makalesinde “özel kişiler hakkında yüksek miktarda kişisel bilgi içerdiği bilinen belirli sitelerden verileri kaldırmak için çaba sarf ettiğini” söylüyor, ancak bu sitelerin ne olduğunu listelemedi.
Şu anda, herkes Meta’nın web sitesinde bir form doldurarak Llama 2’yi indirmek için erişim talep edebilir.
[Update (July 19, 2023): Some industry observers dispute Meta’s characterization of Llama 2 as “open source” software, pointing out that its license does not fully comply with the Open Source Initiative’s definition of the term. These critics highlight that Meta’s license places usage restrictions on Llama 2, excluding licensees with over 700 million active daily users (mentioned above) and restricting the use of its outputs to improve other LLMs.
In a tweet responding to Yann LeCun’s announcement of Llama 2, the OSI clarified, “The [Llama 2] lisans yalnızca bazı ticari kullanımlara izin verir. Açık Kaynak terimi, ticari kullanımda kısıtlamalara izin vermeyen açık, iyi anlaşılmış bir anlama sahiptir.” Ayrıca Llama 2 lisansının “Ek Ticari Koşullar” başlıklı 2. Bölümünü vurguladılar.
Bu açıklamaların ışığında, Llama 2’yi daha doğru bir şekilde tanımlamak için bu makaleyi “kaynakta mevcut”, “açık lisanslı” ve “ağırlıklar mevcut” gibi terimleri kullanacak şekilde güncelledik.]
