Transformer
Transformer nədir?
Tərif
2017-ci ildə Google tərəfindən təqdim edilmiş, müasir böyük dil modellərinin (LLM) əsasını təşkil edən neyron şəbəkəsi arxitekturasıdır. Diqqət mexanizmi (attention mechanism) vasitəsilə uzun ardıcıllıqlardakı əlaqələri öyrənir.
Nümunə istifadə
“GPT, BERT, T5 kimi modellər Transformer arxitekturasına əsaslanır.”
Əlaqəli terminlər
İnsan beyninin quruluşundan ilham alan hesablama modelidir. Bir-birinə bağlı süni neyronlardan ibarət olub, nümunələri tanımaq və qərar vermək üçün istifadə edilir.
NLP – süni intellektin insan dilini anlama, şərh etmə və yaratma qabiliyyətidir. Chatbotlar, avtomatik tərcümə, duyğu analizi NLP-nin tətbiq sahələridir.
Large Language Model – böyük mətn kütlələri üzərində öyrədilmiş, insan dilinə oxşar mətn yarada bilən dil modelidir. GPT-4, Claude, Gemini LLM-lərin nümunələridir.
Generative Pre-trained Transformer – OpenAI tərəfindən hazırlanmış böyük dil modeli ailəsidir. Transformer arxitekturasına əsaslanır. GPT-4 hazırda ən inkişaf etmiş versiyasıdır. Mətn yazmaq, kod yazmaq, sualları cavablandırmaq kimi geniş tətbiqatları var.