Dzmuh: /* Ссылки */

2026-01-26T07:35:50Z

Ссылки

← Предыдущая версия		Версия от 07:35, 26 января 2026
Строка 70:		Строка 70:
	* [http://myselph.de/neuralNet.html Neural Net for Handwritten Digit Recognition in JavaScript] — A JavaScript implementation of a neural network for handwritten digit classification based on the MNIST database		* [http://myselph.de/neuralNet.html Neural Net for Handwritten Digit Recognition in JavaScript] — A JavaScript implementation of a neural network for handwritten digit classification based on the MNIST database

	[[Категория:~~Искусственные нейронные~~ сети]]		[[Категория:Нейронные сети]]
	[[Категория:Методы обучения нейросетей]]		[[Категория:Методы обучения нейросетей]]
	[[Категория:Компьютерное зрение]]		[[Категория:Компьютерное зрение]]

Dzmuh: Новая страница: «База данных '''MNIST''' (сокращение от «Modified National Institute of Standards and Technology») — объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным Национальный институт ста...»

2024-08-30T23:34:04Z

Новая страница: «База данных '''MNIST''' (сокращение от «Modified National Institute of Standards and Technology») — объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным Национальный институт ста...»

Новая страница

База данных '''MNIST''' (сокращение от «Modified [[Национальный институт стандартов и технологий|National Institute of Standards and Technology»]]) — объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным [[Национальный институт стандартов и технологий|Национальным институтом стандартов и технологий США]] с целью калибрации и сопоставления методов [[Обработка изображений|распознавания изображений]] с помощью [[Машинное обучение|машинного обучения]] в первую очередь на основе [[Искусственные нейронные сети|нейронных сетей]]<ref>{{cite web|title=Support vector machines speed pattern recognition - Vision Systems Design|url=http://www.vision-systems.com/articles/print/volume-9/issue-9/technology-trends/software/support-vector-machines-speed-pattern-recognition.html|work=Vision Systems Design|accessdate=2013-08-17|archive-date=2013-09-21|archive-url=https://web.archive.org/web/20130921060857/http://www.vision-systems.com/articles/print/volume-9/issue-9/technology-trends/software/support-vector-machines-speed-pattern-recognition.html|deadlink=no}}</ref><ref>{{cite web|last=Gangaputra|first=Sachin|title=Handwritten digit database|url=http://cis.jhu.edu/~sachin/digit/digit.html|accessdate=2013-08-17|archive-date=2013-09-21|archive-url=https://web.archive.org/web/20130921054447/http://cis.jhu.edu/~sachin/digit/digit.html|deadlink=no}}</ref>. Данные состоят из заранее подготовленных примеров изображений, на основе которых проводится обучение и тестирование [[Машинное обучение|систем]]<ref>{{cite web|last=Qiao|first=Yu|title=THE MNIST DATABASE of handwritten digits|url=http://www.gavo.t.u-tokyo.ac.jp/~qiao/database.html|accessdate=2013-08-18|year=2007|archive-date=2018-02-11|archive-url=https://web.archive.org/web/20180211153301/http://www.gavo.t.u-tokyo.ac.jp/~qiao/database.html|deadlink=no}}</ref><ref>{{статья |заглавие=Using analytic QP and sparseness to speed training of support vector machines |издание=Advances in Neural Information Processing Systems |страницы=557—563 |ссылка=http://ar.newsmth.net/att/148aa490aed5b5/smo-nips.pdf |accessdate=2013-08-18 |deadlink=yes |archiveurl=https://web.archive.org/web/20160304083810/http://ar.newsmth.net/att/148aa490aed5b5/smo-nips.pdf |archivedate=2016-03-04 |язык=en |тип=journal |автор=Platt, John C. |год=1999}}</ref>. База данных была создана после переработки [http://www.nist.gov/srd/upload/nistsd19.pdf оригинального набора чёрно-белых образцов размером 20x20 пикселей NIST]. Создатели базы данных NIST, в свою очередь, использовали набор образцов из [[Бюро переписи населения США]], к которому были добавлены ещё тестовые образцы, написанные студентами американских университетов<ref name="LeCun">{{cite web|last=LeCun|first=Yann|title=MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges|url=http://yann.lecun.com/exdb/mnist/|accessdate=2013-08-17|author2=Corinna Cortes|author3=Christopher J.C. Burges|archive-date=2021-04-07|archive-url=https://web.archive.org/web/20210407152035/http://yann.lecun.com/exdb/mnist/|deadlink=no}}</ref>. Образцы из набора NIST были нормализированы, прошли [[сглаживание]] и приведены к серому [[Полутоновое изображение|полутоновому]] изображению размером 28x28 пикселей<ref name="LeCun" />.

База данных MNIST содержит 60000 изображений для обучения и 10000 изображений для тестирования<ref>{{статья |заглавие=Improved method of handwritten digit recognition tested on MNIST database |издание=Image and Vision Computing |том=22 |номер=12 |страницы=971—981 |doi=10.1016/j.imavis.2004.03.008 |язык=en |тип=journal |автор=Kussul, Ernst; Tatiana Baidyk |год=2004}}</ref>. Половина образцов для обучения и тестирования были взяты из набора NIST для обучения, а другая половина — из набора NIST для тестирования<ref>{{статья |заглавие=Fast k -Nearest Neighbor Classification Using Cluster-Based Trees |издание={{Нп3|IEEE Transactions on Pattern Analysis and Machine Intelligence}} |том=26 |номер=4 |страницы=525—528 |ссылка=http://mleg.cse.sc.edu/edu/csce822/uploads/Main.ReadingList/KNN_fastbyClustering.pdf |accessdate=2013-08-18 |doi=10.1109/TPAMI.2004.1265868 |pmid=15382657 |язык=en |тип=journal |автор=Zhang, Bin; Sargur N. Srihari |год=2004 |archivedate=2021-07-25 |archiveurl=https://web.archive.org/web/20210725141158/http://mleg.cse.sc.edu/edu/csce822/uploads/Main.ReadingList/KNN_fastbyClustering.pdf }}</ref>.

Производились многочисленные попытки достичь минимальной ошибки после обучения по базе данных MNIST, которые обсуждались в научной литературе. Рекордные результаты указывались в публикациях, посвящённых использованию [[Свёрточная нейронная сеть|свёрточных нейронных сетей]], уровень ошибки был доведён до 0,23 %<ref name="Multideep">{{статья |заглавие=Multi-column deep neural networks for image classification |издание=2012 IEEE Conference on Computer Vision and Pattern Recognition |страницы=3642—3649 |doi=10.1109/CVPR.2012.6248110 |arxiv=1202.2745 |isbn=978-1-4673-1228-8 |ссылка=http://repository.supsi.ch/5145/1/IDSIA-04-12.pdf |язык=en |тип=journal |автор=Cires¸an, Dan; Ueli Meier; Jürgen Schmidhuber |год=2012 |archivedate=2016-10-17 |archiveurl=https://web.archive.org/web/20161017220334/http://repository.supsi.ch/5145/1/IDSIA-04-12.pdf }}</ref>. Сами создатели базы данных предусмотрели несколько методов тестирования<ref name="LeCun" />. В оригинальной работе указывается, что использование [[Метод опорных векторов|метода опорных векторов]] позволяет достичь уровня ошибки 0,8 %<ref name="Gradient">{{статья |заглавие=Gradient-Based Learning Applied to Document Recognition |издание=Proceedings of the IEEE 86 |том=86 |номер=11 |страницы=2278—2324 |ссылка=http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf |accessdate=2013-08-18 |doi=10.1109/5.726791 |язык=en |тип=journal |автор=LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner |год=1998 |archivedate=2016-11-30 |archiveurl=https://web.archive.org/web/20161130145516/http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf }}</ref>.

== Качество результата и развитие подходов ==
В некоторых работах отмечают высокие результаты систем, построенных на ансамблях из нескольких нейронных сетей; при этом качество распознавания цифр для базы MNIST оказывается сравнимым с уровнем человека, а для других задач распознавания, в частности, для дорожных знаков — даже в два раза лучше<ref name="Multideep" />.

На оригинальных страницах создателей<ref name="LeCun" /> отмечаются ошибки в 12 % при использовании простых линейных классификаторов без предварительной обработки<ref name="Gradient" />.

В 2004 году система LIRA, использующая [[Многослойный перцептрон Розенблатта|трёхслойный перцептрон Розенблатта]], получила уровень ошибки 0,42 %<ref>{{статья |заглавие=Improved method of handwritten digit recognition tested on MNIST database |издание=Image and Vision Computing |том=22 |страницы=971—981 |doi=10.1016/j.imavis.2004.03.008 |ссылка=https://vlabdownload.googlecode.com/files/Image_VisionComputing.pdf |accessdate=2013-09-20 |deadlink=yes |archiveurl=https://web.archive.org/web/20130921060416/https://vlabdownload.googlecode.com/files/Image_VisionComputing.pdf |archivedate=2013-09-21 |язык=en |тип=journal |автор=Kussul, Ernst; Tatiana Baidyk |год=2004}}</ref>.

Проводились исследование на обучении по системе MNIST с использованием случайных искажений. В качестве искажений вводились аффинные или упругие преобразования<ref name="LeCun" />. Иногда такие системы достигали хороших показателей, в частности имеются публикации про уровень ошибки 0,39 %<ref>{{статья |заглавие=Efficient Learning of Sparse Representations with an Energy-Based Model |издание=Advances in Neural Information Processing Systems |том=19 |страницы=1137—1144 |ссылка=http://yann.lecun.com/exdb/publis/pdf/ranzato-06.pdf |accessdate=2013-09-20 |язык=en |тип=journal |автор=Ranzato, Marc’Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun |год=2006 |archivedate=2016-03-22 |archiveurl=https://web.archive.org/web/20160322112400/http://yann.lecun.com/exdb/publis/pdf/ranzato-06.pdf }}</ref>.

В 2011 был достигнут уровень ошибок 0,27 % при использовании нейронных сетей<ref>{{статья |заглавие=Convolutional neural network committees for handwritten character classification |издание=2011 International Conference on Document Analysis and Recognition (ICDAR) |страницы=1135—1139 |doi=10.1109/ICDAR.2011.229 |ссылка=http://www.icdar2011.org/fileup/PDF/4520b135.pdf |accessdate=2013-09-20 |язык=en |тип=journal |автор=Ciresan, Dan Claudiu; Ueli Meier; Luca Maria Gambardella; Jürgen Schmidhuber |год=2011 |archiveurl=https://web.archive.org/web/20160222152015/http://www.icdar2011.org/fileup/PDF/4520b135.pdf |archivedate=2016-02-22 }}</ref>. В 2013 появились публикации о достижении ошибки 0,21 %, используя регуляризацию нейронных сетей (через разрывы соединений [[:en:DropConnect|DropConnect]])<ref>{{cite conference|last=Wan|first=Li|author2=Matthew Zeiler|author3=Sixin Zhang|author4=Yann LeCun|author5=Rob Fergus|title=Regularization of Neural Network using DropConnect|conference=International Conference on Machine Learning(ICML)|year=2013}}</ref>.

Позднее применение одиночной [[Свёрточная нейронная сеть|свёрточной нейронной сети]] позволило улучшить качество до уровня ошибки 0,31 %<ref name="Romanuke1">{{cite web|last=Romanuke|first=Vadim|title=The single convolutional neural network best performance in 18 epochs on the expanded training data at Parallel Computing Center, Khmelnitskiy, Ukraine|url=https://drive.google.com/file/d/0B1WkCFOvGHDdWlZvWUlLd0V3ZFU/view?usp=sharing|accessdate=2016-11-16|archive-date=2016-11-16|archive-url=https://web.archive.org/web/20161116232023/https://drive.google.com/file/d/0B1WkCFOvGHDdWlZvWUlLd0V3ZFU/view?usp=sharing|deadlink=no}}</ref>. Самый лучший результат на одиночной [[Свёрточная нейронная сеть|свёрточной нейронной сети]] показала система, полученная после 74 эпох обучения — 0,27 %<ref name="Romanuke2">{{cite web|last=Romanuke|first=Vadim|title=Parallel Computing Center (Khmelnitskiy, Ukraine) gives a single convolutional neural network performing on MNIST at 0.27 percent error rate.|url=https://drive.google.com/file/d/0B1WkCFOvGHDdOC0yR0tfbmpidjg/view?usp=sharing|accessdate=2016-11-24|archive-date=2016-11-24|archive-url=https://web.archive.org/web/20161124222346/https://drive.google.com/file/d/0B1WkCFOvGHDdOC0yR0tfbmpidjg/view?usp=sharing|deadlink=no}}</ref>. Однако ансамбль из пяти свёрточных нейронных сетей позволил добиться 0,21%-го уровня ошибок<ref name="Romanuke3">{{cite web|last=Romanuke|first=Vadim|title=Parallel Computing Center (Khmelnitskiy, Ukraine) represents an ensemble of 5 convolutional neural networks which performs on MNIST at 0.21 percent error rate.|url=https://drive.google.com/file/d/0B1WkCFOvGHDddElkdkl6bzRLRE0/view?usp=sharing|accessdate=2016-11-24|archive-date=2016-11-24|archive-url=https://web.archive.org/web/20161124222456/https://drive.google.com/file/d/0B1WkCFOvGHDddElkdkl6bzRLRE0/view?usp=sharing|deadlink=no}}</ref><ref name="Romanuke4">{{статья |заглавие=Training data expansion and boosting of convolutional neural networks for reducing the MNIST dataset error rate |издание=Research Bulletin of NTUU “Kyiv Polytechnic Institute” |том=6 |страницы=29—34 |doi=10.20535/1810-0546.2016.6.84115 |ссылка=http://bulletin.kpi.ua/article/viewFile/84115/pdf_19/84115-185929-1-PB.pdf |accessdate=2019-02-17 |ref=24 |язык=en |тип=journal |автор=Romanuke, Vadim |год=2016}}</ref>. В 2018 году исследователи, использующие Random Multimodel Deep Learning (RMDL), сообщили об ошибке в размере 0,18 процента, улучшив предыдущий наилучший результат: новый ансамбль, метод глубокого обучения для классификации <ref name="Kowsari2018">{{cite web |last=Kowsari |first=Kamran |last2=Heidarysafa |first2=Mojtaba |last3=Brown |first3=Donald E. |last4=Meimandi |first4=Kiana Jafari |last5=Barnes |first5=Laura E. |title=RMDL: Random Multimodel Deep Learning for Classification |journal=Proceedings of the 2018 International Conference on Information System and Data Mining |date=2018-05-03 |url=https://arxiv.org/pdf/1805.01890.pdf |access-date=2018-05-10 |archive-date=2018-05-18 |archive-url=https://web.archive.org/web/20180518130452/https://arxiv.org/pdf/1805.01890.pdf |deadlink=no }}</ref>.

== Сопоставление систем ==
В таблице собраны примеры результатов [[Машинное обучение|машинного обучения]] в различных системах классификации изображений:<ref>{{Cite web |url=http://yann.lecun.com/exdb/mnist/ |title=Le Cunn, THE MNIST DATABASE of handwritten Digits |access-date=2016-12-11 |archive-date=2021-04-07 |archive-url=https://web.archive.org/web/20210407152035/http://yann.lecun.com/exdb/mnist/ |deadlink=no }}</ref>
{| class="wikitable sortable"
|-
! Тип!! Структура !! Искажения!! Предварительная обработка !! Ошибка (%)
|-
| [[Линейный классификатор]] || Одноуровневый [[перцептрон]] || {{okay|Нет}} || {{okay|Нет}} || 12<ref name="Multideep" />
|-
| [[Линейный классификатор]] || [[Дискриминантный анализ|Попарный линейный классификатор]] || {{okay|Нет}} || Выравнивание || 7.6<ref name="Gradient" />
|-
| [[Метод k ближайших соседей]] || K-NN с нелинейной деформацией (P2DHMDM) || {{okay|Нет}} || Shiftable edges || 0.52<ref>{{статья |заглавие=Deformation models for image recognition |издание=EEE Transactions on Pattern Analysis and Machine Intelligence |том=29 |номер=8 |страницы=1422—1435 |ссылка=http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=E0F3BDC7642FBA1D8E2811526BD0E596?doi=10.1.1.106.3963&rep=rep1&type=pdf |accessdate=2013-08-27 |язык=und |автор=Keysers, Daniel; Thomas Deselaers; Christian Gollan; Hermann Ney |месяц=8 |год=2007 |archivedate=2016-03-04 |archiveurl=https://web.archive.org/web/20160304082921/http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=E0F3BDC7642FBA1D8E2811526BD0E596?doi=10.1.1.106.3963&rep=rep1&type=pdf }}</ref>
|-
| [[:en:Gradient boosting|Gradient boosting]] || Обработка остатков на базе [[Признаки Хаара|признаков Хаара]] || {{okay|Нет}} || [[Признаки Хаара]] || 0.87<ref>{{статья |заглавие=Boosting products of base classifiers |издание=Proceedings of the 26th Annual International Conference on Machine Learning |страницы=497—504 |ссылка=https://users.lal.in2p3.fr/kegl/research/PDFs/keglBusafekete09.pdf |accessdate=2013-08-27 |язык=und |автор=Kégl, Balázs; Róbert Busa-Fekete |год=2009 |archivedate=2016-12-20 |archiveurl=https://web.archive.org/web/20161220095725/https://users.lal.in2p3.fr/kegl/research/PDFs/keglBusafekete09.pdf }}</ref>
|-
| Нелинейный классификатор || 40 PCA + квадратичный классификатор || {{okay|Нет}} || {{okay|Нет}} || 3.3<ref name="Gradient" />
|-
| [[Метод опорных векторов]] || Виртуальная система [[Метод опорных векторов|опорных векторов]], deg-9 poly, 2-pixel jittered || {{okay|Нет}} || Выравнивание || 0.56<ref>DeCoste and Scholkopf, MLJ 2002</ref>
|-
| [[Искусственная нейронная сеть|Нейронная сеть]] || 2-уровневая сеть 784-800-10 || {{okay|Нет}} || {{okay|Нет}} || 1.6<ref name="simard2003">{{статья |заглавие=Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis |ссылка=http://research.microsoft.com/apps/pubs/?id=68920 |издательство=IEEE |doi=10.1109/ICDAR.2003.1227801 |издание=Document Analysis and Recognition, 2003. Proceedings. Seventh International Conference on |язык=en |тип=journal |автор=Patrice Y. Simard; Dave Steinkraus; John C. Platt |год=2003 |archivedate=2015-12-22 |archiveurl=https://web.archive.org/web/20151222135506/http://research.microsoft.com/apps/pubs/?id=68920 }}</ref>
|-
| [[Искусственная нейронная сеть|Нейронная сеть]] || 2-уровневая сеть 784-800-10 || Упругие деформации || {{okay|Нет}} || 0.7<ref name="simard2003"/>
|-
| Глубокая [[Искусственная нейронная сеть|нейронная сеть]] || 6-уровневая сеть 784-2500-2000-1500-1000-500-10 || Упругие деформации || {{okay|Нет}} || 0.35<ref>{{статья |заглавие=Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition |издание=Neural Computation |том=22 |номер=12 |doi=10.1162/NECO_a_00052 |arxiv=1003.0358 |язык=en |тип=journal |автор=Ciresan, Claudiu Dan; Dan, Ueli Meier, Luca Maria Gambardella, and Juergen Schmidhuber |месяц=12 |год=2010}}</ref>
|-
| [[Свёрточная нейронная сеть]] || 6-уровневая сеть 784-40-80-500-1000-2000-10 || {{okay|Нет}} || Расширение данных для обучения || 0.31<ref name="Romanuke1" />
|-
| [[Свёрточная нейронная сеть]] || 6-уровневая сеть 784-50-100-500-1000-10-10 || {{okay|Нет}} ||Расширение данных для обучения || 0.27<ref name="Romanuke2" />
|-
| [[Свёрточная нейронная сеть]] || Ансамбль из 35 CNN-сетей, 1-20-P-40-P-150-10 || Упругие деформации || С нормализацией || 0.23<ref name="Multideep" />
|-
| [[Свёрточная нейронная сеть]] || Ансамбль из 5 CNN-сетей, 6-уровней 784-50-100-500-1000-10-10 || {{okay|Нет}} || Расширение данных для обучения || 0.21<ref name="Romanuke3" />
|-
| [https://github.com/kk7nc/RMDL Случайное мультимодельное глубокое обучение (RMDL)] || 30 моделей случайного глубокого обучения (RDL) (10 CNN, 10 RNN и 10 DNN) || {{okay|Нет}} || {{okay|Нет}}|| 0.18<ref name="Kowsari2018"/>
|}

== См. также ==
* {{iw|List of datasets for machine learning research}}
* [[Caltech 101]]
* [[ImageNet]]
* {{iw|LabelMe}}

== Примечания ==
{{примечания|2}}

== Литература ==
* {{статья |заглавие=Multi-column deep neural networks for image classification |издание=2012 {{Нп3|IEEE Conference on Computer Vision and Pattern Recognition}} |страницы=3642—3649 |ссылка=http://repository.supsi.ch/5145/1/IDSIA-04-12.pdf |doi=10.1109/CVPR.2012.6248110 |arxiv=1202.2745v1 |accessdate=2013-12-09 |isbn=9781467312264 |oclc=812295155 |издательство=[[Институт инженеров электротехники и электроники|Institute of Electrical and Electronics Engineers]] (IEEE) |место=New York, NY |язык=en |тип=journal |автор=Ciresan, Dan; Meier, Ueli; Schmidhuber, Jürgen |месяц=6 |год=2012}}

== Ссылки ==
{{Википедия|MNIST (база данных)}}
* [http://yann.lecun.com/exdb/mnist/ MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges] — The home of the database
* [http://myselph.de/neuralNet.html Neural Net for Handwritten Digit Recognition in JavaScript] — A JavaScript implementation of a neural network for handwritten digit classification based on the MNIST database

[[Категория:Искусственные нейронные сети]]
[[Категория:Методы обучения нейросетей]]
[[Категория:Компьютерное зрение]]

MNIST (база данных) - История изменений

Dzmuh: /* Ссылки */