Özet

Hugging Face, WebAI ekibi tarafından geliştirilen @huggingface/kernels kütüphanesini tanıttı. Bu kütüphane, WebGPU üzerinde optimize edilmiş 207 çekirdek (kernel) yüklemek ve çalıştırmak için tasarlandı. Kullanıcı dostu bir tarayıcı deneyimi sağlamak amacıyla geliştirilen bu çekirdekler, makine öğrenimi mimarileri ve iş yükleri için gerekli olan çeşitli işlemleri kapsıyor. Ayrıca, Fleet adında bir GPU benchmark ve test aracı da sunuluyor.

Detaylar

WebGPU ve Performans

WebGPU, modern tarayıcılar üzerinden GPU işlemlerini gerçekleştirmek için taşınabilir bir API sunuyor. Ancak, taşınabilirlik performansı otomatik olarak artırmıyor. Farklı hızlandırıcılar üzerinde aynı işlemi gerçekleştiren iki shader, farklı performans sergileyebilir. Bu nedenle, çekirdeklerin performansını etkileyen faktörler arasında iş grubu boyutları, bellek erişim desenleri ve veri türleri yer alıyor. Hugging Face, bu çekirdeklerin her birini bağımsız olarak keşfedilebilir, test edilebilir ve versiyonlanabilir hale getirerek, yüksek seviyeli çalışma zamanlarının verimliliğini artırmayı hedefliyor.

Çekirdeklerin Yapısı ve Kullanımı

Her çekirdek, kendi deposuna ve çekirdek kartına sahip. Bu kart, işlemin anlamı, girdi ve çıktı türleri, desteklenen veri türleri gibi bilgileri içeriyor. Örneğin, ai.onnx.Add işlemi, çok yönlü yayılma ile eleman bazında toplama işlemi gerçekleştiriyor. Bu yapı, geliştiricilerin özelleştirilmiş WebGPU çekirdekleri oluşturmasına veya bu işlemleri kendi çalışma zamanlarına entegre etmesine olanak tanıyor.

Fleet: Topluluk Katkısı

Fleet, kullanıcıların kendi donanımlarında çekirdekleri test etmelerine ve performans verilerini paylaşmalarına olanak tanıyan bir araç. Kullanıcıların izniyle, her test sonucu, potansiyel hataları tespit etmek ve çekirdek varyantlarını geliştirmek için topluluk veritabanına ekleniyor. Bu sayede, geleneksel test laboratuvarlarında kapsanamayacak cihazlardan performans ve doğruluk kanıtları toplanabiliyor.

AI Ekonomisi notu

Hugging Face'in @huggingface/kernels kütüphanesi, tarayıcı tabanlı yapay zeka uygulamalarının hızını ve kullanıcı dostuluğunu artırma hedefiyle önemli bir adım atıyor. Bu tür geliştirmeler, yapay zeka çözümlerinin daha geniş bir kitleye ulaşmasını sağlayarak, sektördeki rekabeti artırabilir.

Kaynak: Hugging Face Blog — https://huggingface.co/blog/webgpu-kernels