Dzmuh: /* Ссылка */

2026-01-26T07:37:00Z

Ссылка

← Предыдущая версия		Версия от 07:37, 26 января 2026
Строка 16:		Строка 16:
	* {{Статья \| автор = Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. \|заглавие=Dropout: A Simple Way to Prevent Neural Networks from Overfitting \|ссылка=http://jmlr.org/papers/v15/srivastava14a.html \|издание=Journal of Machine Learning Research \|год=2014 \|том=15}}		* {{Статья \| автор = Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. \|заглавие=Dropout: A Simple Way to Prevent Neural Networks from Overfitting \|ссылка=http://jmlr.org/papers/v15/srivastava14a.html \|издание=Journal of Machine Learning Research \|год=2014 \|том=15}}

	[[Категория:~~Искусственные нейронные~~ сети]]		[[Категория:Нейронные сети]]
	[[Категория:Методы обучения нейросетей]]		[[Категория:Методы обучения нейросетей]]

Dzmuh: Новая страница: «{{Другие значения|Исключение}} '''Исключение''' или '''дропаут''' (от {{Lang-en|dropout}}) — метод регуляризации искусственных нейронных сетей, предназначен для уменьшения переобучения се...»

2024-08-30T23:11:14Z

Новая страница: «{{Другие значения|Исключение}} '''Исключение''' или '''дропаут''' (от {{Lang-en|dropout}}) — метод регуляризации искусственных нейронных сетей, предназначен для уменьшения переобучения се...»

Новая страница

{{Другие значения|Исключение}}
'''Исключение''' или '''дропаут''' (от {{Lang-en|dropout}}) — метод [[Регуляризация (математика)|регуляризации]] [[Искусственная нейронная сеть|искусственных нейронных сетей]], предназначен для уменьшения [[переобучение|переобучения]] сети за счет предотвращения сложных коадаптаций отдельных нейронов на тренировочных данных во время обучения<ref name="MyUser_Arxiv.org_July_26_2015c">{{cite arXiv |eprint=1207.0580|title= Improving neural networks by preventing co-adaptation of feature detectors |last1= Hinton |first1=Geoffrey E. |last2=Srivastava |first2=Nitish |last3=Krizhevsky |first3=Alex |last4=Sutskever |first4=Ilya |last5= Salakhutdinov |first5=Ruslan R. |class=cs.NE |year=2012 }}</ref>.

Термин «dropout» (выбивание, выбрасывание) характеризует исключение определённого процента (например 30 %) случайных нейронов (находящихся как в скрытых, так и видимых слоях) на разных итерациях (эпохах) во время обучения нейронной сети. Это очень эффективный способ усреднения моделей внутри нейронной сети. В результате более обученные нейроны получают в сети больший вес<ref name="MyUser_Jmlr.org_July_26_2015c">{{cite web |url=http://jmlr.org/papers/v15/srivastava14a.html |title=Dropout: A Simple Way to Prevent Neural Networks from Overfitting |newspaper=Jmlr.org |date= |author= |accessdate=2015-07-26 |archive-date=2019-12-05 |archive-url=https://web.archive.org/web/20191205130609/http://www.jmlr.org/papers/v15/srivastava14a.html |deadlink=no }}</ref><ref>{{cite arxiv|last=Warde-Farley|first=David|last2=Goodfellow|first2=Ian J.|last3=Courville|first3=Aaron|last4=Bengio|first4=Yoshua|date=2013-12-20|title=An empirical analysis of dropout in piecewise linear networks|eprint=1312.6197|class=stat.ML}}</ref>. Такой приём значительно увеличивает скорость обучения, качество обучения на тренировочных данных, а также повышает качество предсказаний модели на новых тестовых данных<ref name="MyUser_Arxiv.org_July_26_2015c" />.

Для задания исключений в различных библиотеках [[Машинное обучение|машинного обучения]] необходимо выбрать значение гиперпараметра, который указывает вероятность зануления элемента нейронной сети. В результате генерируется маска, состоящая из 0 и 1, которая указывает какие элементы будут убраны. Как правило, маска генерируется независимо на каждом шаге градиентного спуска. Важно отметить, что на этапе предсказания dropout ничего не меняет. На этапе предсказания dropout «выключается»: внутренние представления используются как есть, без умножения на маску. А чтобы слой знал, обучается он сейчас или предсказывает, в нейросетевых библиотеках в классе слоя обычно реализовано переключение между этими режимами (например, булев флаг <code>training</code> в [[PyTorch|pytorch]]-модулях)<ref>{{Cite web|lang=ru|url=http://academy.yandex.ru/handbook/ml/article/tonkosti-obucheniya|title=Тонкости обучения|website=academy.yandex.ru|access-date=2023-03-05|archive-date=2023-03-05|archive-url=https://web.archive.org/web/20230305122441/https://academy.yandex.ru/handbook/ml/article/tonkosti-obucheniya|deadlink=no}}</ref>.

== См. также ==
* [[Свёрточная нейронная сеть]]

== Примечания ==
{{примечания}}

== Ссылка ==
{{Википедия|Исключение (нейронные сети)}}
* {{Статья | автор = Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. |заглавие=Dropout: A Simple Way to Prevent Neural Networks from Overfitting |ссылка=http://jmlr.org/papers/v15/srivastava14a.html |издание=Journal of Machine Learning Research |год=2014 |том=15}}

[[Категория:Искусственные нейронные сети]]
[[Категория:Методы обучения нейросетей]]

Исключение (нейронные сети) - История изменений

Dzmuh: /* Ссылка */