Ars Teknik
AI Land’de işler ışık hızında ilerliyor. Cuma günü, Georgi Gerganov adlı bir yazılım geliştiricisi, Meta’nın yeni GPT-3 sınıfı yapay zeka büyük dil modeli LLaMA’yı bir Mac dizüstü bilgisayarda yerel olarak çalıştırabilen “llama.cpp” adlı bir araç oluşturdu. Kısa bir süre sonra, insanlar LLaMA’yı Windows’ta da nasıl çalıştıracaklarını çözdüler. Sonra birisi çalıştığını gösterdi Pixel 6 telefonda ve sonra geldi Ahududu Pi (çok yavaş çalışmasına rağmen).
Bu devam ederse, biz farkına bile varmadan cep boyutunda bir ChatGPT rakibi arıyor olabiliriz.
Ama bir dakika geri dönelim, çünkü henüz tam olarak orada değiliz. (En azından bugün değil – kelimenin tam anlamıyla bugün olduğu gibi, 13 Mart 2023.) Ama önümüzdeki hafta ne gelecek, kimse bilmiyor.
ChatGPT kullanıma sunulduğundan beri, bazı kişiler yapay zeka modelinin OpenAI’nin hassas bulduğu konuları tartışmasını engelleyen yerleşik sınırları yüzünden hayal kırıklığına uğradı. Böylece, bazı çevrelerde herkesin yerel olarak sansür ve OpenAI’ye API ücreti ödemeden çalıştırabileceği açık kaynaklı bir büyük dil modeli (LLM) hayali başladı.
Açık kaynak çözümler mevcuttur (GPT-J gibi), ancak çok fazla GPU RAM ve depolama alanı gerektirirler. Diğer açık kaynak alternatifleri, kolayca bulunabilen tüketici düzeyindeki donanımlarda GPT-3 düzeyindeki performansla övünemezdi.
7B ile 65B arasında değişen parametre boyutlarında kullanılabilen bir LLM olan LLaMA’yı girin (bu, modelin “bildiğini” temsil eden matrislerde saklanan kayan noktalı sayılar olan “milyar parametre”de olduğu gibi “B”dir). LLaMA çarpıcı bir iddiada bulundu: daha küçük boyutlu modellerinin, çıktı kalitesi ve hızı açısından ChatGPT’ye güç veren temel model olan OpenAI’nin GPT-3’ü ile eşleşebileceği. Tek bir sorun vardı: Meta, LLaMA kodunu açık kaynak olarak yayınladı, ancak “ağırlıkları” (sinir ağında depolanan eğitimli “bilgi”) yalnızca nitelikli araştırmacılar için geride tuttu.
LLaMA hızında uçmak
Meta’nın LLaMA üzerindeki kısıtlamaları uzun sürmedi çünkü 2 Mart’ta birisi LLaMA ağırlıklarını BitTorrent’e sızdırdı. O zamandan beri, LLaMA’yı çevreleyen bir gelişme patlaması oldu. Bağımsız AI araştırmacısı Simon Willison, bu durumu geçen Ağustos ayında piyasaya sürülen açık kaynaklı bir görüntü sentezi modeli olan Stable Diffusion’ın piyasaya sürülmesiyle karşılaştırdı. İşte blogunda bir gönderide yazdığı şey:
Bana öyle geliyor ki, Ağustos’taki Stable Diffusion anı, üretken yapay zekaya yönelik tüm yeni ilgi dalgasını başlattı ve ardından Kasım sonunda ChatGPT’nin piyasaya sürülmesiyle aşırı hıza itildi.
Bu Kararlı Yayılma anı, ChatGPT’nin arkasındaki teknoloji olan büyük dil modelleri için şu anda yeniden yaşanıyor. Bu sabah ilk kez kendi kişisel dizüstü bilgisayarımda GPT-3 sınıfı bir dil modeli çalıştırdım!
Yapay zeka olayı zaten tuhaftı. Her şey çok daha garipleşmek üzere.
Tipik olarak, GPT-3’ü çalıştırmak birkaç veri merkezi sınıfı A100 GPU gerektirir (ayrıca, GPT-3’ün ağırlıkları herkese açık değildir), ancak LLaMA, tek bir etli tüketici GPU’sunda çalışabileceği için dalgalar yarattı. Ve şimdi, niceleme adı verilen bir teknik kullanarak model boyutunu küçülten optimizasyonlarla, LLaMA bir M1 Mac veya daha küçük bir Nvidia tüketici GPU’sunda çalışabilir.
Her şey o kadar hızlı ilerliyor ki bazen son gelişmelere ayak uydurmak zor oluyor. (AI’nın ilerleme hızıyla ilgili olarak, bir AI muhabiri Ars’a şunları söyledi: “Üzerlerine bir sandık tenis topunu ters çevirdiğiniz köpeklerin videoları gibi. [They] önce nereye koşacağını bilememek ve karmaşa içinde kaybolmak.”)
Örneğin, Willison’ın bir Hacker News yorumunda ortaya koyduğu bir zaman çizelgesine dayanan, LLaMA ile ilgili dikkate değer olayların bir listesi:
- 24 Şubat 2023: Meta AI, LLaMA’yı duyurdu.
- 2 Mart 2023: Birisi LLaMA modellerini BitTorrent aracılığıyla sızdırıyor.
- 10 Mart 2023: Georgi Gerganov, M1 Mac’te çalışabilen llama.cpp’yi oluşturur.
- 11 Mart 2023: Artem Andreenko, LLaMA 7B’yi çalıştırıyor (yavaşça) Raspberry Pi 4 üzerinde4GB RAM, 10 sn/token.
- 12 Mart 2023: LLaMA 7B, bir node.js yürütme aracı olan NPX üzerinde çalışıyor.
- 13 Mart 2023: Birisi llama.cpp’yi çalıştırıyor Pixel 6 telefondaayrıca çok yavaş.
- 13 Mart 2023, 2023: Stanford, LLaMA 7B’nin “OpenAI’nin” text-davinci-003’üne benzer şekilde davranan ancak çok daha az güçlü donanımla çalışan, talimatlarla ayarlanmış bir sürümü olan Alpaca 7B’yi piyasaya sürdü.
LLaMA ağırlıklarını kendimiz aldıktan sonra, Willison’ın talimatlarını takip ettik ve bir M1 Macbook Air’de çalışan 7B parametre sürümünü aldık ve makul bir hızda çalışıyor. Bunu komut satırında komut istemi olarak adlandırırsınız ve LLaMA onu makul bir şekilde tamamlamak için elinden gelenin en iyisini yapar.
Benj Edwards / Ars Technica
Hala nicelemenin çıktının kalitesini ne kadar etkilediği sorusu var. Testlerimizde, 4 bitlik niceleme düzeyine düşürülen LLaMA 7B, bir MacBook Air’de çalışmak için çok etkileyiciydi; ancak yine de ChatGPT’den bekleyebileceğinizle aynı seviyede değil. Daha iyi yönlendirme tekniklerinin daha iyi sonuçlar vermesi tamamen mümkündür.
Ayrıca, LLaMA hala oldukça kısıtlayıcı bazı kullanım koşullarıyla yükümlü olsa da, optimizasyonlar ve ince ayarlar herkes koda ve ağırlıklara sahip olduğunda hızla gerçekleşir. Alpaca’nın bugün Stanford tarafından piyasaya sürülmesi, ince ayarın (belirli bir hedef için ek eğitimin) performansı artırabileceğini kanıtlıyor ve LLaMA’nın piyasaya sürülmesinden sonra hala erken günler.
Bu yazı itibariyle, LLaMA’yı bir Mac’te çalıştırmak oldukça teknik bir egzersiz olmaya devam ediyor. Python ve Xcode kurmalı ve komut satırında çalışmaya aşina olmalısınız. Willison, denemek isteyen herkes için iyi adım adım talimatlara sahiptir. Ancak geliştiriciler kodlamaya devam ettikçe bu durum yakında değişebilir.
Bu teknolojiyi vahşi doğada kullanmanın sonuçlarına gelince – henüz kimse bilmiyor. Bazıları, spam ve yanlış bilgi için bir araç olarak yapay zekanın etkisinden endişe duysa da, Willison, “İcat edilmemiş olmayacak, bu yüzden önceliğimizin, onu kullanmanın en yapıcı olası yollarını bulmak olduğunu düşünüyorum” diyor.
Şu anda tek garantimiz her şeyin hızla değişeceği.
