Метод коррекции с обратной передачей сигнала ошибки

Метод коррекции с обратной передачей сигнала ошибки — стохастический метод обучения персептрона, необходимый, чтобы гарантировать сходимость при переменных связях больше, чем у одного слоя. Метод был предложен Розенблаттом для перцептрона с переменными S-A связями и может быть использован для бинарных многослойных перцептронов. Является альтернативой методу обратного распространения ошибки, но, в отличие от него, гарантирует процесс сходимости (достижение решения).

Алгоритм

• Для каждого R-элемента устанавливается ошибка <math>E_r = R^* - r^*</math>, где <math>R^*</math> - требуемая, а <math>r^*</math> - достигнутая реакция.
• Для каждого А-элемента <math>a_i</math> ошибка вычисляется следующим образом:
  • Вначале <math>E_i = 0</math>;
  • Если элемент <math>a_i</math> активен и связь <math>c_{ir}</math> (<math display="inline">c_{ir}=a_i \cdot w_{ir}</math> или в общем случае <math display="inline">c_{ir} = f(w_{ir}, a_i)</math>) оканчивается на R-элементе с ненулевой ошибкой <math>E_r</math>, отличающейся по знаку от веса связи <math>w_{ir}</math>, то с вероятностью <math>p_1</math> к <math>E_i</math> следует прибавить коррекцию, равную -1;
  • Если элемент <math>a_i</math> неактивен и связь <math>c_{ir}</math> оканчивается на R-элементе с ненулевой ошибкой <math>E_r</math>, не отличается (совпадает) по знаку от веса связи <math>w_{ir}</math>, то с вероятностью <math>p_2</math> к <math>E_i</math> следует прибавить коррекцию, равную +1;
  • Если элемент <math>a_i</math> неактивен и связь <math>c_{ir}</math> оканчивается на R-элементе с ненулевой ошибкой <math>E_r</math>, отличающейся по знаку от веса связи <math>w_{ir}</math> (или <math>w_{ir}=0</math> ), то с вероятностью <math>p_3</math> к <math>E_i</math> следует прибавить коррекцию, равную +1;
  • При всех остальных условиях <math>E_i</math> не изменяется.
• Если <math>E_i \not= 0</math>, то ко всем активным связям, оканчивающимся на А или R элементе, прибавляем коррекцию <math>\eta</math> со знаком, совпадающим со знаком <math>E_i</math>, т.е. <math>\Delta w_{ij} = a_i^* sign(E_i) \varepsilon </math>, где <math>\varepsilon</math> - абсолютное значение <math>\eta</math> (как правило единица).

В большинстве случаев наилучшие характеристики могут быть получены, если вероятности будут выбраны согласно следующему условию <math>p_1 > p_2 > p_3</math>.

Литература

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — Шаблон:Указание места в библиоссылке: Мир, 1965. — 480 с.
• Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998