Рекуррентная нейронная сеть - История изменений

Dzmuh: /* Ссылки */

2026-01-26T07:37:39Z

Ссылки

← Предыдущая версия		Версия от 07:37, 26 января 2026
Строка 135:		Строка 135:
	{{Машинное обучение}}		{{Машинное обучение}}

	[[Категория:~~Искусственные нейронные~~ сети]]		[[Категория:Нейронные сети]]

Dzmuh: /* Долгая краткосрочная память (LSTM) */

2023-05-04T03:16:50Z

Долгая краткосрочная память (LSTM)

← Предыдущая версия		Версия от 03:16, 4 мая 2023
Строка 6:		Строка 6:

	==== [[Долгая краткосрочная память]] (LSTM) ====		==== [[Долгая краткосрочная память]] (LSTM) ====
	[[Долгая краткосрочная память\|Сеть с долговременной и кратковременной памятью]] ({{lang-en\| Long short term memory, LSTM)}}; ''LSTM'').<ref name="lstm">{{статья \|заглавие=Long Short-Term Memory \|издание={{Нп3\|Neural Computation (журнал)\|Neural Computation\|\|Neural Computation (journal)}} \|том=9 \|номер=8 \|страницы=1735—1780 \|doi=10.1162/neco.1997.9.8.1735 \|язык=en \|автор={{Нп3\|Hochreiter, Sepp\|Hochreiter, Sepp\|\|Sepp Hochreiter}}; {{Нп3\|Schmidhuber, Jürgen\|Schmidhuber, Jürgen\|\|Jürgen Schmidhuber}} \|число=1 \|месяц=11 \|год=1997 }}</ref> нашла применение в различных приложениях.		[[Долгая краткосрочная память\|Сеть с долговременной и кратковременной памятью]] ({{lang-en\| Long short term memory, LSTM)}}; ''LSTM''). нашла применение в различных приложениях.

	Начиная с 2007 года LSTM приобрела популярность и смогла вывести на новый уровень [[распознавание речи]], показав существенное улучшение по сравнению с традиционными моделями.<ref name="fernandez2007keyword">{{статья \|заглавие=An Application of Recurrent Neural Networks to Discriminative Keyword Spotting \|ссылка=http://dl.acm.org/citation.cfm?id=1778066.1778092 \|издание=Proceedings of the 17th International Conference on Artificial Neural Networks \|том=ICANN'07 \|место=Berlin, Heidelberg \|издательство=Springer-Verlag \|страницы=220—229 \|isbn=978-3-540-74693-5 \|язык=en \|тип=journal \|автор=Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen \|год=2007}}</ref> В 2009 году появился подход классификации по рейтингу (Connectionist Temporal Classification, (CTC)). Этот метод позволил рекуррентным сетям подключить анализ контекста при распознавании рукописного текста.<ref name="graves20093">{{статья \|заглавие=Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks \|ссылка=https://papers.nips.cc/paper/3449-offline-handwriting-recognition-with-multidimensional-recurrent-neural-networks \|издание=Neural Information Processing Systems (NIPS) Foundation \|страницы=545—552 \|язык=en \|тип=journal \|автор=Graves, Alex; Schmidhuber, Jürgen \|ответственный=Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris editor-K. I.; Culotta, Aron \|год=2009}}</ref> В 2014 году китайская энциклопедия и поисковая система [[Baidu]], используя рекуррентные сети с обучением по CTC смогли поднять на новый уровень показатели Switchboard Hub5’00, опередив традиционные методы.<ref name="hannun2014">{{cite arxiv \|last=Hannun \|first=Awni \|last2=Case \|first2=Carl \|last3=Casper \|first3=Jared \|last4=Catanzaro \|first4=Bryan \|last5=Diamos \|first5=Greg \|last6=Elsen \|first6=Erich \|last7=Prenger \|first7=Ryan \|last8=Satheesh \|first8=Sanjeev \|last9=Sengupta \|first9=Shubho \|date=2014-12-17 \|title=Deep Speech: Scaling up end-to-end speech recognition \|eprint=1412.5567 \|class=cs.CL}}</ref>		Начиная с 2007 года LSTM приобрела популярность и смогла вывести на новый уровень [[распознавание речи]], показав существенное улучшение по сравнению с традиционными моделями. В 2009 году появился подход классификации по рейтингу (Connectionist Temporal Classification, (CTC)). Этот метод позволил рекуррентным сетям подключить анализ контекста при распознавании рукописного текста. В 2014 году китайская энциклопедия и поисковая система [[Baidu]], используя рекуррентные сети с обучением по CTC смогли поднять на новый уровень показатели Switchboard Hub5’00, опередив традиционные методы.

	LSTM привела также к улучшению распознавания речи с большими словарями~~<ref name="sak2014"/><ref name="liwu2015"/>~~ и улучшения синтеза речи по тексту~~<ref name="fan2015">Bo Fan, Lijuan Wang, Frank K. Soong, and Lei Xie (2015). Photo-Real Talking Head with Deep Bidirectional LSTM. In Proceedings of ICASSP 2015.</ref>~~, и нашла также применение в операционной системе [[Google Android]].<ref name="zen2015">{{Cite web \|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf \|title=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis \|last=Zen \|first=Heiga \|last2=Sak \|first2=Hasim \|date=2015 \|website=Google.com \|publisher=ICASSP \|pages=4470–4474 \|archive-url=https://web.archive.org/web/20210509123113/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf \|archive-date=2021-05-09 \|access-date= \|deadlink=no }}</ref> В 2015 году распознавание речи у Google значительно повысило показатели вплоть до 49 %, причиной того стало использование специальной системы обучения LSTM на базе CTC в системе [[Google Voice Search\|Google voice search]].<ref name="sak2015">{{Cite web \|url=http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html \|title=Google voice search: faster and more accurate \|last=Sak \|first=Haşim \|last2=Senior \|first2=Andrew \|date=2015-09 \|last3=Rao \|first3=Kanishka \|last4=Beaufays \|first4=Françoise \|last5=Schalkwyk \|first5=Johan \|access-date=2017-12-09 \|archive-date=2016-03-09 \|archive-url=https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html \|deadlink=no }}</ref>		LSTM привела также к улучшению распознавания речи с большими словарями и улучшения синтеза речи по тексту, и нашла также применение в операционной системе [[Google Android]]. В 2015 году распознавание речи у Google значительно повысило показатели вплоть до 49 %, причиной того стало использование специальной системы обучения LSTM на базе CTC в системе [[Google Voice Search\|Google voice search]].

	LSTM вывело на новый уровень качество [[машинный перевод\|машинного перевода]],<ref name="sutskever2014">{{статья \|заглавие=Sequence to Sequence Learning with Neural Networks \|ссылка=https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf \|издание=Electronic Proceedings of the Neural Information Processing Systems Conference \|том=27 \|страницы=5346 \|arxiv=1409.3215 \|class=cs.CL \|bibcode=2014arXiv1409.3215S \|язык=und \|автор=Sutskever, L.; Vinyals, O.; Le, Q. \|год=2014}}</ref>, построения языковых моделей и<ref name="vinyals2016">{{cite arxiv \|last=Jozefowicz \|first=Rafal \|last2=Vinyals \|first2=Oriol \|last3=Schuster \|first3=Mike \|last4=Shazeer \|first4=Noam \|last5=Wu \|first5=Yonghui \|date=2016-02-07 \|title=Exploring the Limits of Language Modeling \|eprint=1602.02410 \|class=cs.CL}}</ref> обработки многоязычного текста.<ref name="gillick2015">{{cite arxiv \|last=Gillick \|first=Dan \|last2=Brunk \|first2=Cliff \|last3=Vinyals \|first3=Oriol \|last4=Subramanya \|first4=Amarnag \|date=2015-11-30 \|title=Multilingual Language Processing From Bytes \|eprint=1512.00103 \|class=cs.CL}}</ref> Сочетание LSTM со [[свёрточная нейронная сеть\|свёрточными нейронными сетями]] (CNN) позволило усовершенствовать автоматическое описание изображений.<ref name="vinyals2015">{{cite arxiv \|last=Vinyals \|first=Oriol \|last2=Toshev \|first2=Alexander \|last3=Bengio \|first3=Samy \|last4=Erhan \|first4=Dumitru \|date=2014-11-17 \|title=Show and Tell: A Neural Image Caption Generator \|eprint=1411.4555 \|class=cs.CV}}</ref>		LSTM вывело на новый уровень качество [[машинный перевод\|машинного перевода]], построения языковых моделей и обработки многоязычного текста. Сочетание LSTM со [[свёрточная нейронная сеть\|свёрточными нейронными сетями]] (CNN) позволило усовершенствовать автоматическое описание изображений.

	== Архитектура ==		== Архитектура ==

Dzmuh в 03:12, 4 мая 2023

2023-05-04T03:12:33Z

← Предыдущая версия		Версия от 03:12, 4 мая 2023
Строка 1:		Строка 1:
	'''Рекуррентные нейронные сети''' ('''РНС''', {{l6e\|en\|Recurrent neural network}}, ''RNN'') — вид [[Искусственная нейронная сеть\|нейронных сетей]], где связи между элементами образуют направленную последовательность. Благодаря этому появляется возможность обрабатывать серии событий во времени или последовательные пространственные цепочки. В отличие от многослойных [[перцептрон\|перцептронов]], рекуррентные сети могут использовать свою внутреннюю память для обработки последовательностей произвольной длины. Поэтому сети ''RNN'' применимы в таких задачах, где нечто целостное разбито на части, например: [[Распознавание рукописного ввода\|распознавание рукописного текста]]<ref>{{статья \|заглавие=A Novel Connectionist System for Improved Unconstrained Handwriting Recognition \|ссылка=http://www.idsia.ch/~juergen/tpami_2008.pdf \|издание={{Нп3\|IEEE Transactions on Pattern Analysis and Machine Intelligence}} \|том=31 \|номер=5 \|язык=en \|тип=journal \|автор=Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; {{Нп3\|Schmidhuber, J.\|Schmidhuber, J.\|\|Jürgen Schmidhuber}} \|год=2009}}</ref> или [[распознавание речи]]<ref name="sak2014">{{Cite web \|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf \|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling \|last=Sak \|first=Hasim \|last2=Senior \|first2=Andrew \|date=2014 \|website= \|archive-url= \|archive-date= \|access-date= \|last3=Beaufays \|first3=Francoise \|accessdate=2017-12-09 \|archiveurl=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf \|archivedate=2018-04-24 \|deadlink=yes }}</ref><ref name="liwu2015">{{cite arxiv\|last=Li\|first=Xiangang\|last2=Wu\|first2=Xihong\|date=2014-10-15\|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition\|eprint=1410.4281\|class=cs.CL}}</ref>. Было предложено много различных архитектурных решений для рекуррентных сетей от простых до сложных. В последнее время наибольшее распространение получили		'''Рекуррентные нейронные сети''' ('''РНС''', {{l6e\|en\|Recurrent neural network}}, ''RNN'') — вид [[Искусственная нейронная сеть\|нейронных сетей]], где связи между элементами образуют направленную последовательность. Благодаря этому появляется возможность обрабатывать серии событий во времени или последовательные пространственные цепочки. В отличие от многослойных [[перцептрон\|перцептронов]], рекуррентные сети могут использовать свою внутреннюю память для обработки последовательностей произвольной длины. Поэтому сети ''RNN'' применимы в таких задачах, где нечто целостное разбито на части, например: [[Распознавание рукописного ввода\|распознавание рукописного текста]] или [[распознавание речи]]. Было предложено много различных архитектурных решений для рекуррентных сетей от простых до сложных. В последнее время наибольшее распространение получили
	[[Долгая краткосрочная память\|сеть с долговременной и кратковременной памятью]] (LSTM) и [[управляемый рекуррентный блок]] (GRU).		[[Долгая краткосрочная память\|сеть с долговременной и кратковременной памятью]] (LSTM) и [[управляемый рекуррентный блок]] (GRU).

	== История ==		== История ==
	[[Хопфилд, Джон\|Джон Хопфилд]] в 1982 предложил [[Нейронная сеть Хопфилда\|Сеть Хопфилда]]. В 1993 нейронная система запоминания и сжатия исторических данных смогла решить задачу «очень глубокого обучения», в которой в рекуррентной сети разворачивалось более 1000 последовательных слоёв.<ref name="schmidhuber19932">{{книга \|ссылка=ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf \|заглавие=Habilitation thesis: System modeling and optimization \|год=1993 \|язык=en \|автор=[[Jürgen Schmidhuber\|Schmidhuber, Jürgen]]}} Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN.</ref>		[[Хопфилд, Джон\|Джон Хопфилд]] в 1982 предложил [[Нейронная сеть Хопфилда\|Сеть Хопфилда]]. В 1993 нейронная система запоминания и сжатия исторических данных смогла решить задачу «очень глубокого обучения», в которой в рекуррентной сети разворачивалось более 1000 последовательных слоёв.

	==== [[Долгая краткосрочная память]] (LSTM) ====		==== [[Долгая краткосрочная память]] (LSTM) ====

Dzmuh: /* Ссылки */

2023-05-04T03:08:13Z

Ссылки

← Предыдущая версия		Версия от 03:08, 4 мая 2023
Строка 119:		Строка 119:
	Управляемый рекуррентный блок ({{lang-en\|Gated recurrent units}}; ''GRU'') - механизм управления рекуррентной сети, предложенный в 2014 году. Производительность GRU в моделях речевого сигнала или полифонической музыки оказалась сопоставимой с [[Долгая краткосрочная память\|долгой краткосрочной памятью]] (LSTM).<ref name="MyUser_Arxiv.org_May_18_2016c">{{cite arXiv \|class=cs.NE \|first2=Caglar \|last2=Gulcehre \|title=Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling \|eprint=1412.3555 \|last1=Chung \|first1=Junyoung \|last3=Cho \|first3=KyungHyun \|last4=Bengio \|first4=Yoshua \|year=2014}}</ref> У данной модели меньше параметров, чем у LSTM, и в ней отсутствует выходное управление.<ref name="MyUser_Wildml.com_May_18_2016c">{{cite web \|url=http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/ \|title=Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML \|date= \|newspaper=Wildml.com \|accessdate=2016-05-18 \|archive-date=2021-11-10 \|archive-url=https://web.archive.org/web/20211110112626/http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/ \|deadlink=no }}</ref>		Управляемый рекуррентный блок ({{lang-en\|Gated recurrent units}}; ''GRU'') - механизм управления рекуррентной сети, предложенный в 2014 году. Производительность GRU в моделях речевого сигнала или полифонической музыки оказалась сопоставимой с [[Долгая краткосрочная память\|долгой краткосрочной памятью]] (LSTM).<ref name="MyUser_Arxiv.org_May_18_2016c">{{cite arXiv \|class=cs.NE \|first2=Caglar \|last2=Gulcehre \|title=Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling \|eprint=1412.3555 \|last1=Chung \|first1=Junyoung \|last3=Cho \|first3=KyungHyun \|last4=Bengio \|first4=Yoshua \|year=2014}}</ref> У данной модели меньше параметров, чем у LSTM, и в ней отсутствует выходное управление.<ref name="MyUser_Wildml.com_May_18_2016c">{{cite web \|url=http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/ \|title=Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML \|date= \|newspaper=Wildml.com \|accessdate=2016-05-18 \|archive-date=2021-11-10 \|archive-url=https://web.archive.org/web/20211110112626/http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/ \|deadlink=no }}</ref>

			== См. также ==
			* [[Долгая краткосрочная память]]
			* [[Управляемый рекуррентный блок]]
			* [[Нейронная сеть Хопфилда]]
			* [[Нейронная сеть Коско]]
			* [[Нейронная сеть Джордана]]
			* [[Нейронная сеть Элмана]]

			== Примечания ==
			{{примечания}}
	== Ссылки ==		== Ссылки ==
	{{википедия\|Рекуррентная нейронная сеть}}		{{википедия\|Рекуррентная нейронная сеть}}

	[[Категория:~~Категоризовать~~]]		{{Типы искусственных нейронных сетей}}
			{{Машинное обучение}}

			[[Категория:Искусственные нейронные сети]]

Dzmuh: Новая страница: «'''Рекуррентные нейронные сети''' ('''РНС''', {{l6e|en|Recurrent neural network}}, ''RNN'') — вид нейронных сетей, где связи между элементами образуют направленную последовательность. Благодаря этому появляется возможность обрабатывать серии...»

2023-05-04T03:07:08Z

Новая страница: «'''Рекуррентные нейронные сети''' ('''РНС''', {{l6e|en|Recurrent neural network}}, ''RNN'') — вид нейронных сетей, где связи между элементами образуют направленную последовательность. Благодаря этому появляется возможность обрабатывать серии...»

Внесённые изменения