AI agentlər getdikcə daha çox “köməkçi” yox, qərar verən rəqəmsal işçi kimi istifadə olunur. Amma tədqiqatçıların xəbərdarlığı ciddi sual doğurur: süni intellektə gizlicə səhv məlumat “xatırlatmaq” mümkündürmü?
ChatGPT, Gemini və digər danışıq platformalarının arxasında dayanan böyük dil modelləri artıq suallara cavab verir, internetdən məlumat toplayır, mətn yazır və istifadəçilərin tapşırıqlarını sürətlə yerinə yetirir.
AI agentlərin “yaddaşı” niyə riskə çevrilir?
Böyük dil modelləri sadəcə cavab generatoru deyil. Onlar bəzi hallarda əvvəlki söhbətləri, istifadəçi seçimlərini və tapşırıq kontekstini yadda saxlaya bilir.
Problem də burada başlayır: əgər modelə görünməyən və ya istifadəçinin fərq etmədiyi gizli prompt ötürülərsə, AI yanlış məlumatı real fakt kimi qəbul edə bilər.
Gizli promptlar AI agentlərin yaddaşına səhv məlumat yerləşdirərək gələcək cavabları manipulyasiya edə bilər.
Bu, sadəcə səhv cavab problemi deyil
AI sistemləri artıq iş proseslərində, müştəri dəstəyində, kod yazılmasında, araşdırmalarda və kontent istehsalında aktiv istifadə olunur. Belə sistemlər yanlış “xatirə” üzərində hərəkət edərsə, nəticə təkcə qeyri-dəqiq cavab yox, real qərar səhvi ola bilər.
Məsələn, agent istifadəçinin üstünlükləri, layihə qaydaları və ya məlumat mənbələri barədə saxta kontekstə inanarsa, sonrakı tapşırıqları da həmin səhv əsasla icra edə bilər.
Gizli promptlar necə təhlükə yarada bilər?
Prompt injection kimi tanınan hücum üsulları modelə birbaşa görünməyən göstərişlər göndərməyə imkan verə bilər. Bu göstərişlər veb-səhifədə, sənəddə və ya modelin oxuduğu başqa mənbədə gizlədilə bilər.
İstifadəçi bunu görməsə də, AI həmin mətni təlimat kimi qəbul edib davranışını dəyişə bilər. Daha təhlükəlisi isə bu təsirin modelin yaddaşına yazılması və sonrakı cavablara da təsir etməsidir.
İstifadəçilər və şirkətlər nə etməlidir?
Bu xəbərdarlıq AI agentlərdən istifadə edən şirkətlər üçün təhlükəsizlik siqnalıdır. Modelin hansı məlumatı yadda saxladığı, hansı mənbələrdən oxuduğu və hansı təlimatlara əməl etdiyi ciddi şəkildə yoxlanmalıdır.
İstifadəçilər də AI cavablarını kor-koranə qəbul etməməlidir. Xüsusilə iş, hüquq, maliyyə, proqramlaşdırma və təhlükəsizlik kimi sahələrdə modelin verdiyi məlumat ayrıca təsdiqlənməlidir.
Nəticə: AI agentlər gücləndikcə onların yaddaşı da qorunmalı aktivə çevrilir — çünki səhv “xatirə” sabah böyük qərar səhvinə səbəb ola bilər.