Özet

Büyük dil modellerinin hızını artırmanın en ekonomik yollarından biri, tüm transformer bloklarını silmektir. Bu işlem, modelin fiziksel olarak daha kısa hale gelmesi nedeniyle, bellek tasarruflarının yanı sıra tahmin hızlarında öngörülebilir artışlar sağlar. Ancak, hangi blokların silineceğini belirlemek karmaşık bir problem olup, yanlış blokların çıkarılması modelin performansını olumsuz etkileyebilir. Bu bağlamda, son çalışmamız blok seçimini kısıtlı ikili optimizasyon (CBO) problemi olarak yeniden yapılandırarak, bu sorunun çözümünde fiziksel sistemlerin sağladığı araçları kullanmayı amaçlamaktadır.

Detaylar

Blok Seçiminin Zorluğu

Mevcut blok kaldırma yöntemleri genellikle her bloğu bağımsız olarak değerlendirir ve en az önemli olanları siler. Ancak, bloklar birbirleriyle etkileşim içinde olduğundan, bir bloğun kaldırılmasının etkisi, diğer blokların durumuna bağlıdır. Bu durum, blokların bağımsız olarak değerlendirilmesinin yanıltıcı olabileceğini gösterir. Derin ve heterojen modellerde, bu etkileşimlerin göz ardı edilmesi kalite kaybına yol açabilir. Dolayısıyla, blokların kombinasyonları üzerinde arama yapmak ve etkileşimlerini dikkate almak kritik bir ihtiyaçtır.

Enerji Minimizasyonu Yaklaşımı

Blok seçimini enerji minimizasyonu problemi haline dönüştürmek, her bir transformer bloğuna bir ikili değişken atamakla başlar. Bu değişken, bloğun korunup korunmayacağını belirler. Modelin kaybı ile bu değişkenler arasındaki ikinci dereceden Taylor genişlemesi, her bloğun önemini ve bloklar arasındaki çift yönlü etkileşimleri içeren bir Hessian matrisini üretir. Bu yeniden yapılandırma, hangi blokların kaldırılacağı sorusunu, belirli sayıda bloğun kaldırılmasını en aza indiren bir optimizasyon problemine dönüştürür. Düşük enerjili durumlar, yüksek performanslı budanmış modellerle ilişkilidir.

Çözüm Süreci

Bu yaklaşımın pratikliği, maliyetle ilgilidir. Hessian, yalnızca küçük bir kalibrasyon veri seti üzerinden hesaplanır ve ardından herhangi bir aday konfigürasyonun değerlendirilmesi, modelin çalıştırılmasına gerek kalmadan tek bir enerji hesaplaması ile gerçekleştirilir. Bu yöntem, büyük konfigürasyon alanlarında bile etkili bir şekilde çalışabilmektedir. En zor durumlarda bile, açık kaynaklı tabu çözücüler, en düşük enerji durumlarına hızlı bir şekilde ulaşabilmektedir. Böylece, bu yöntem, konfigürasyonların sayısının büyük olduğu modellerde bile ölçeklenebilirlik sunmaktadır.

AI Ekonomisi notu

Büyük dil modellerinin optimizasyonu, hem performans hem de maliyet açısından önemli fırsatlar sunmaktadır. Blok kaldırma işleminin fiziksel sistemlerle ilişkilendirilmesi, bu alandaki yenilikçi çözümler için yeni bir yol açmaktadır. Gelecekte, bu tür yöntemlerin daha geniş uygulama alanlarına sahip olması beklenmektedir.

Kaynak: Hugging Face Blog — https://huggingface.co/blog/MultiverseComputingCAI/pruning-llms-like-a-physicist-block-removal-as-an