Discord-da adi bir Minecraft ekran görüntüsü paylaşmaq hesabınızı riskə ata bilərmi? Son hadisə göstərdi ki, avtomatlaşdırılmış moderasiya sistemi bəzən zərərsiz şəkilləri belə təhlükəli kontent kimi görə bilir.
The Verge-in məlumatına görə, Discord-un təhlükəsizlik sistemi şəbəkəyə bənzər görüntüləri — məsələn, şahmat taxtası və Minecraft inventarını — səhvən problemli məzmun kimi işarələyib.
Şəbəkə formalı şəkillər niyə ban səbəbinə çevrildi?
Problem ən azı may ayından bəri bəzi istifadəçilərə təsir edirmiş. Ancaq məsələ bir həftəsonu təxminən 200 istifadəçinin eyni tipli görüntülərə görə banlanmasından sonra daha geniş diqqət çəkib.
İstifadəçilərdən biri hesabının uşaq cinsi istismarı materialı kimi işarələndiyini və buna görə daimi dayandırıldığını bildirib. Halbuki paylaşdığı görüntü sadəcə Minecraft-dan ekran görüntüsü olub.
Discord-un həmtəsisçisi və texnologiya direktoru Stanislav Vishnevskiy bildirib ki, sistem ən azı 8 000 istifadəçini zərərsiz şəkillərə görə yanlış şəkildə bloklayıb.
Discord bunu necə izah edir?
Discord X platformasında paylaşdığı açıqlamalarda bildirib ki, sistem tanınmış zərərli materiallarla uyğunluq axtararaq şübhəli kontenti işarələyir. Normalda bu işarələmələr Trust and Safety Team tərəfindən yoxlanmalı, yalnız bundan sonra istifadəçi hesabına tədbir görülməlidir.
Lakin şirkətin sözlərinə görə, sistemdəki səhv insan yoxlamasından sonra bəzi istifadəçilərin qeydiyyatının təmizlənməsinə mane olub. Nəticədə, yanlış işarələnən hesablar banlı vəziyyətdə qalıb.
Discord sonradan təsirlənən istifadəçilərin banlarının açıldığını bildirib. Amma hadisə avtomatlaşdırılmış moderasiya sistemlərinə etibar məsələsini yenidən gündəmə gətirib.
AI demədilər, amma hamı robotlardan danışır
Maraqlı məqam odur ki, Discord və Vishnevskiy bu sistemi açıq şəkildə AI adlandırmaqdan çəkinib. Buna baxmayaraq, istifadəçilərin çoxu problemi süni intellekt əsaslı moderasiya ilə əlaqələndirib.
Discord daha əvvəl bloq yazılarında CSAM yayılmasının qarşısını almaq üçün machine learning-dən istifadə etdiyini açıqlamışdı. Şirkət həmçinin platformadakı məzmunun moderasiyasında AI alətlərinin rolundan da danışıb.
Bu problem təkcə Discord-a aid deyil
Avtomatlaşdırılmış moderasiya sistemlərinin həddindən artıq sərt davranması yeni məsələ deyil. Ötən il Instagram və Facebook-da da istifadəçilər səbəbsiz hesab banları ilə üzləşmişdi və çoxları bunu AI moderasiya sistemləri ilə əlaqələndirmişdi.
TikTok-da da avtomatik kontent filtrlərinə görə banların artdığı bildirilir. Üstəlik, platforma bəzi insan moderatorları azaltmaqla AI əsaslı alternativlərə daha çox üstünlük verir.
Nəticə: Discord hadisəsi göstərdi ki, kontent moderasiyasında robotlara güvənmək sürətli ola bilər, amma səhv etdikdə minlərlə real istifadəçinin hesabı bir anda qurban gedə bilər.