Google-un yeni sıxma alqoritmi nəinki süni intellekt modellərini, həm də investorları təəccübləndirdi. Ancaq bir neçə saat ərzində yaddaş səhmləri kəskin şəkildə azaldı.
Micron 3%, Western Digital 4.7%, SanDisk isə 5.7% düşdü. Bu, süni intellekt sahəsi üçün fiziki yaddaşa ehtiyacın yenidən dəyərləndirilməsinə səbəb oldu.
TurboQuant: Yaddaşın Sıxılması İnqilabı
Google-un yeni alqoritmi TurboQuant adlanır və böyük dil modellərinin ən baha başa gələn problemi ilə mübarizə aparır: açar-dəyər keşi. Bu, məlumatların yüksək sürətli saxlandığı yerdir ki, model hər yeni token üçün yenidən hesablama aparmaq məcburiyyətində qalmasın.
TurboQuant keşi yalnız 3 bitə qədər sıxır, bu da ən azı altı dəfə yaddaş istifadəsini azaldır.
İki Mərhələli Sıxma Prosesinin Sirləri
TurboQuant-un əsas yeniliyi, adətən sıxma texnikalarının effektivliyini azaldan əlavə yükləri aradan qaldırmasıdır. PolarQuant və QJL mərhələləri sayəsində, məlumat vektorları effektiv şəkildə sıxılır və normallaşdırma dəyərlərinə ehtiyac qalmır.
Bu iki mərhələ bir araya gəldikdə, məlumatın mənasını maksimum dərəcədə qoruyur və minimum səhv düzəlişi ilə effektiv sıxma təmin edir.
Testlərdə Üstünlük
Google TurboQuant-u beş standart uzun kontekstli dil modeli üzrə sınaqdan keçirdi. Nəticələr göstərdi ki, TurboQuant yaddaş istifadəsini əhəmiyyətli dərəcədə azaldaraq yüksək dəqiqlik qoruyur.
Nəticə: TurboQuant yaddaş istifadəsini minimuma endirərək böyük dil modellərinin effektivliyini artırır.
