Özet

Olmo-core 3, büyük dil modellerinin geliştirilmesi için tasarlanmış, açık ve ölçeklenebilir bir eğitim altyapısının önemli bir yükseltmesi olarak tanıtıldı. Bu yeni sistem, MoE (mixture-of-experts) mimarisinin verimliliğini artırarak, trilyon parametre aralığına kadar ölçeklenebilme kapasitesine sahip. Geliştiriciler, bu altyapıyı kullanarak daha büyük ve etkili yapay zeka modelleri oluşturmayı hedefliyor.

Detaylar

Gelişmiş MoE Eğitimi

Olmo-core 3, MoE eğitimini daha verimli hale getirmek için tasarlanmıştır. MoE modelleri, daha fazla öğrenilmiş bileşen içerebilirken, her bir girdi için bu bileşenlerin tamamını kullanma zorunluluğunu ortadan kaldırır. Ancak, modelin tamamının GPU belleğinde saklanması ve eğitim sırasında güncellenmesi gerektiği için, bu süreçte iletişim ve koordinasyon maliyetleri ortaya çıkmaktadır. Olmo-core 3, bu maliyetleri azaltarak, MoE'lerin sunduğu hesaplama avantajlarını korumayı amaçlamaktadır.

Yeni Altyapı ve Performans Artışı

Olmo-core 3, önceki sürümlerde kullanılan tam parçalı veri paralelliği (FSDP) yerine dağıtılmış veri paralelliği (DDP) sistemine geçiş yaparak, uzmanları GPU'larda tutmakta ve ilgili verileri onlara yönlendirmektedir. Bu değişiklik, modelin eğitim sürecinde daha az ağırlık toplama gereksinimi ile sonuçlanmakta ve eğitim verimliliğini artırmaktadır. Örneğin, 47 milyar parametreli bir MoE modeli, yeni altyapı ile her bir GPU'da saniyede 52,000 token işleyebilmekte, bu da önceki uygulamaya kıyasla yaklaşık 2.7 kat daha fazla bir verimlilik sunmaktadır.

MoE Modellerinin Ölçeklenmesi

Olmo-core 3, büyük MoE'lerin GPU kümeleri üzerinde dağıtımını optimize eden çeşitli teknikler içermektedir. Bu teknikler, modelin ve eğitim durumunun donanım üzerinde nasıl bölüneceğini belirlemekte ve her GPU'nun tüm modeli ve eğitim durumunu belleğinde tutma zorunluluğunu ortadan kaldırmaktadır. Böylece, MoE'lerin ölçeklenmesi daha verimli hale gelmekte ve büyük dil modellerinin geliştirilmesi sürecinde önemli bir adım atılmaktadır.

AI Ekonomisi notu

Olmo-core 3, büyük dil modellerinin geliştirilmesi için önemli bir altyapı sunarak, hem maliyetleri hem de enerji tüketimini azaltmayı hedefliyor. Bu yenilikler, akademik araştırmacılar ve küçük laboratuvarlar için gelişmiş model geliştirme süreçlerini daha erişilebilir hale getirebilir. AI alanındaki bu tür gelişmeler, sektördeki rekabeti artırarak, daha yenilikçi çözümlerin ortaya çıkmasına zemin hazırlayabilir.

Kaynak: Hugging Face Blog — https://huggingface.co/blog/allenai/olmocore3