Bulud AI modellərinə məlumat göndərmədən güclü süni intellekt işlətmək istəyən şirkətlər üçün maraqlı alternativ ortaya çıxıb. GEEKOM dörd mini PC-ni birləşdirərək server otağına bənzəməyən, amma ciddi AI yükü daşıyan kompakt klaster qurub.
Söhbət dörd ədəd GEEKOM A9 Mega mini PC-dən gedir: cihazlar sadə USB4 kabelləri ilə bir-birinə qoşulur və DeepSeek V4 Flash modelini paylanmış şəkildə işlədir. Bu quruluşun ümumi yaddaşı 512GB-a çatır.
Server rəfi yox, USB4 kabeli: klaster belə qurulub
Hər A9 Mega mini PC AMD Ryzen AI Max+ 395 çipi ilə işləyir. Bu çip 16 Zen 5 CPU nüvəsini, Radeon 8060S qrafikasını və vahid yaddaş arxitekturasını kompakt korpusda birləşdirir.
GEEKOM-un yanaşması klassik data mərkəzi serverindən fərqlənir. Burada xüsusi switch, böyük server rəfi və mürəkkəb infrastruktur əvəzinə Ubuntu, ROCm və DwarfStar proqram təminatı ilə idarə olunan dörd mini PC var.
GEEKOM-un testlərinə görə, dörd mini PC-dən ibarət klaster tək sorğuda təxminən 14.61 token/saniyə nəticə göstərib, P95 ilk token gecikməsi isə 0.42 saniyə olub.
Məlumatlar buluda çıxmadan AI işlətmək niyə vacibdir?
Bu sistemin əsas üstünlüyü sürətdən çox məxfilik ola bilər. Şirkətlər promptları, daxili sənədləri, mənbə kodlarını və giriş məlumatlarını public cloud xidmətlərinə göndərmədən lokal infrastrukturda saxlaya bilərlər.
Bu, xüsusilə hüquq, maliyyə, istehsalat və təhlükəsizlik komandaları üçün önəmlidir. Məsələn, belə klaster müqavilələri, texniki təlimatları və daxili hesabatları analiz edən şəxsi bilik köməkçisi kimi işləyə bilər.
GEEKOM bildirir ki, agent əsaslı sistemlərdə klaster alətləri, qaydaları, yaddaşı və logları emal edib sonra əməliyyat icra edə bilir. Şirkətin açıqlamasına görə, texniki tərəfdə 250K tokenə qədər kontekstlə işləyən ssenarilər də sınaqdan keçirilib.
Performans təsirlidir, amma əsas məsələ tutumdur
14.61 token/saniyə nəticəsi ən sürətli AI serverləri ilə müqayisədə rekord sayılmaya bilər. Amma bu quruluşun hədəfi yalnız qısa cavabları ildırım sürəti ilə yaratmaq deyil, daha uzun promptlar və daha böyük kontekstlər üçün lokal hesablama gücü verməkdir.
İstifadəçilər sistemi bir və ya iki A9 Mega ilə başlada, ehtiyac artdıqca dörd node-a qədər genişləndirə bilərlər. Hər mini PC ayrıca işləyə bilir, lazım olduqda isə paylanmış inference üçün ümumi gücə qoşulur.
A9 Mega təkbaşına 128GB-a qədər LPDDR5x yaddaşı dəstəkləyir. Dörd cihaz birlikdə 512GB klaster yaddaşı yaradır ki, bu da böyük dil modelləri və müəssisə səviyyəli AI tapşırıqları üçün daha geniş nəfəs sahəsi deməkdir.
A9 Mega-nın texniki bazası nələr vəd edir?
Cihaz 120W davamlı performans, iki ədəd M.2 PCIe Gen4x4 yaddaş yuvası və RAID quruluşunda 8TB-a qədər saxlama imkanları ilə gəlir. Bu göstəricilər onu adi ofis mini PC-sindən daha çox, kompakt AI iş stansiyası sinfinə yaxınlaşdırır.
Əlbəttə, təxminən 16 min dollarlıq belə klaster hər kəs üçün deyil. Amma data məxfiliyi, lokal AI və geniş kontekstli modellərlə işləmək istəyən bizneslər üçün bu tip mini PC klasterləri getdikcə daha cəlbedici görünür.
Nəticə: GEEKOM-un dörd A9 Mega ilə qurduğu DeepSeek V4 Flash klasteri göstərir ki, müəssisə AI-ı üçün güclü və məxfi alternativ artıq mütləq nəhəng server otağı tələb etmir.