Pazartesi günü Cerebras Systems, derin öğrenme için 13,5 milyon çekirdekli Andromeda AI süper bilgisayarını tanıttı, Reuters bildirdi. Cerebras’a göre Andromeda, 16 bit yarı hassasiyette birden fazla 1 exaflop (saniyede 1 kentilyon işlem) yapay zeka hesaplama gücü sağlıyor.
Andromeda’nın kendisi, birbirine bağlı 16 Cerebras C-2 bilgisayarından oluşan bir kümedir. Her CS-2, yaklaşık 8,5 inç kare büyüklüğünde ve 850.000 çekirdeğe düzenlenmiş 2,6 trilyon transistörle paketlenmiş, şu anda şimdiye kadar yapılmış en büyük silikon çip olan bir Gofret Ölçekli Motor çipi (genellikle “WSE-2” olarak adlandırılır) içerir.
Cerebras, Andromeda’yı California, Santa Clara’daki bir veri merkezinde 35 milyon dolara inşa etti. Büyük dil modelleri gibi uygulamalar için ayarlanmıştır ve halihazırda akademik ve ticari işler için kullanılmaktadır. Cerebras bir basın açıklamasında “Andromeda, GPT-3, GPT-J ve GPT-NeoX dahil olmak üzere GPT sınıfı büyük dil modellerinde basit veri paralelliği yoluyla mükemmele yakın ölçeklendirme sağlıyor” diye yazıyor.
beyinler
Cerebras’a göre “Mükemmele yakın ölçeklendirme” ifadesi, Cerebras Andromeda’ya daha fazla CS-2 bilgisayar birimi ekledikçe, sinir ağlarındaki eğitim süresinin “mükemmele yakın oranda” azaldığı anlamına gelir. Tipik olarak, GPU tabanlı sistemleri kullanarak daha fazla bilgi işlem gücü ekleyerek bir derin öğrenme modelini büyütmek için, donanım maliyetleri arttıkça getirilerin azaldığı görülebilir. Ayrıca Cerebras, süper bilgisayarının GPU tabanlı sistemlerin yapamadığı görevleri gerçekleştirebileceğini iddia ediyor:
GPU’nun imkansız çalışması, Andromeda’nın ilk kullanıcılarından biri tarafından gösterildi ve GPT-J’de 2,5 milyar ve 25 milyar parametrede mükemmele yakın ölçeklendirmeyi uzun dizi uzunluklarıyla (10.240 MSL) başardı. Kullanıcılar aynı işi 2.000 Nvidia A100 kümesi olan Polaris’te yapmaya çalıştı ve GPU’lar, GPU belleği ve bellek bant genişliği sınırlamaları nedeniyle işi yapamadı.”
Bu iddiaların harici bir incelemeye dayanıp dayanmadığı henüz görülmedi, ancak şirketlerin genellikle giderek daha büyük Nvidia GPU kümeleri üzerinde derin öğrenme modelleri eğittiği bir çağda, Cerebras alternatif bir yaklaşım sunuyor gibi görünüyor.
Andromeda’nın diğer süper bilgisayarlara karşı durumu nasıl? Şu anda dünyanın en hızlısı olan Frontier, Oak Ridge Ulusal Laboratuarlarında bulunuyor ve 64 bitlik çift hassasiyette 1.103 exaflop hızında çalışabiliyor. Bu bilgisayarın yapımı 600 milyon dolara mal oldu.
Andromeda’ya erişim artık birden çok kullanıcı tarafından uzaktan kullanılabilir. Zaten ticari yazı asistanı JasperAI ve Argonne Ulusal Laboratuvarı ve Cambridge Üniversitesi tarafından araştırma için kullanılıyor.
