Dzmuh: /* Ссылки */

2026-01-26T07:37:57Z

Ссылки

← Предыдущая версия		Версия от 07:37, 26 января 2026
Строка 59:		Строка 59:
	{{википедия\|Трансформер (модель машинного обучения)}}		{{википедия\|Трансформер (модель машинного обучения)}}

	[[Категория:~~Искусственные нейронные~~ сети]]		[[Категория:Нейронные сети]]

Dzmuh: Новая страница: «{{Значения|Трансформер}} '''Трансфо́рмер''' ({{lang-en|Transformer}}) — архитектура глубоких нейронных сетей, представленная в 2017 году исследователями из Google Brain{{source|Q30249683}}. По аналогии с Рекуррентная нейронная...»

2023-05-04T03:18:39Z

Новая страница: «{{Значения|Трансформер}} '''Трансфо́рмер''' ({{lang-en|Transformer}}) — архитектура глубоких нейронных сетей, представленная в 2017 году исследователями из Google Brain<ref name="paper">{{source|Q30249683}}</ref>. По аналогии с Рекуррентная нейронная...»

Новая страница

{{Значения|Трансформер}}
'''Трансфо́рмер''' ({{lang-en|Transformer}}) — архитектура [[Глубокое обучение|глубоких]] [[Нейронная сеть|нейронных сетей]], представленная в 2017 году исследователями из [[Google Brain]]<ref name="paper">{{source|Q30249683}}</ref>.

По аналогии с [[Рекуррентная нейронная сеть|рекуррентными нейронными сетями]] (РНС) трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как [[машинный перевод]] и [[автоматическое реферирование]]. В отличие от РНС, трансформеры не требуют обработки последовательностей по порядку. Например, если входные данные — это текст, то трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому трансформеры [[Параллельные вычисления|распараллеливаются]] легче чем РНС и могут быть быстрее [[Машинное обучение|обучены]]<ref name="paper" />.

== Архитектура сети ==

Архитектура трансформера состоит из кодировщика и декодировщика. Кодировщик получает на вход [[Векторное представление слов|векторизованую последовательность]] с позиционной информацией. Декодировщик получает на вход часть этой последовательности и выход кодировщика. Кодировщик и декодировщик состоят из слоев. Слои кодировщика последовательно передают результат следующему слою в качестве его входа. Слои декодировщика последовательно передают результат следующему слою вместе с результатом кодировщика в качестве его входа.

Каждый кодировщик состоит из механизма самовнимания (вход из предыдущего слоя) и [[Нейронная сеть с прямой связью|нейронной сети с прямой связью]] (вход из механизма самовнимания). Каждый декодировщик состоит из механизма самовнимания (вход из предыдущего слоя), механизма внимания к результатам кодирования (вход из механизма самовнимания и кодировщика) и [[Нейронная сеть с прямой связью|нейронной сети с прямой связью]] (вход из механизма внимания).

<gallery>
Файл:MLTransformerOverview.svg|Трансформер
Файл:MLTransformer-Encoder.svg|Кодирующий слой
Файл:MLTransformer-Decoder.svg|Декодирующий слой
</gallery>

== Внимание на основе скалярного произведения ==

Каждый механизм внимания параметризован матрицами весов запросов <math>W_Q</math>, весов ключей <math>W_K</math>, весов значений <math>W_V</math>. Для вычисления внимания входного вектора <math>X</math> к вектору <math>Y</math>, вычисляются вектора <math>Q=W_Q X</math>, <math>K=W_K X</math>, <math>V=W_V Y</math>. Эти вектора используются для вычисления результата внимания по формуле:

<math>\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\mathrm{T}}{\sqrt{d_k}}\right)V</math>

== Использование ==

Трансформеры используются в [[Яндекс.Переводчик]]е<ref>{{cite web
|author = Семен Козлов
|url = https://habr.com/ru/post/341240/
|title = Transformer — новая архитектура нейросетей для работы с последовательностями
|lang = ru
|website =
|publisher = [[Хабр]]
|date = 2017-10-30
|accessdate = 2020-11-03
}}</ref>, [[Яндекс.Новости|Яндекс.Новостях]]<ref>{{cite web
|author = Тимур Гаскаров
|url = https://habr.com/ru/company/yandex/blog/479662/
|title = Как Яндекс научил искусственный интеллект находить ошибки в новостях
|lang = ru
|website =
|publisher = [[Хабр]]
|date = 2019-12-12
|accessdate = 2020-11-03
}}</ref>, [[Google Переводчик]]е<ref>{{cite web
|author = Isaac Caswell, Bowen Liang
|url = https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html
|title = Recent Advances in Google Translate
|lang = en
|website =
|publisher = Google AI Blog
|date = 2020-06-08
|accessdate = 2020-11-03
}}</ref>, [[GPT-3]].

== Примечания ==
{{примечания}}

== Ссылки ==
{{википедия|Трансформер (модель машинного обучения)}}

[[Категория:Искусственные нейронные сети]]

Трансформер (модель машинного обучения) - История изменений

Dzmuh: /* Ссылки */