Innovations in Science and Technologies Volume 2 Issue 7 (2025) · pp. 438-452
АНАЛИЗ СХОДИМОСТИ ОНЛАЙН ГРАДИЕНТНОГО МЕТОДА ДЛЯ НЕЙРОННЫХ СЕТЕЙ С МНОЖЕСТВЕННЫМИ ВЕСОВЫМИ СВЯЗАМИ
Худайбергенов, Кабул, Марахимов, Авазжон
Abstract
В данной статье исследуется свойство сходимости онлайн- градиентного обучения для алгоритма обратного распространения ошибки для нейронных сетей прямого распространения с двумя скрытыми слоями с множественными весовыми связами. Предполагается, что в каждом цикле обучения каждый пример обучения в наборе обучающих данных передается в стохастической форме в многослойную нейронную сеть прямого распространения с множественными весовыми связами ровно один раз. Приводиться свойство слабой и сильной сходимости для подходов к обучению, указывая, что градиент функции ошибок стремится к нулю, а весовые коэффициенты - к значению фиксированной точки соответственно. Сначала приводиться результат сходимости для подхода полностью стохастического порядка, а затем - для подхода специального стохастического порядка. Условия на функцию активации нейронной сети и скорость обучения, гарантирующие сходимость, смягчены по сравнению с существующими результатами. Свойства сходимости в данной статье изучаются для сигмоидального типа функции активации, однако эти результаты справедливы и для других типов функций активации.
нейронные сетиметод обратного распространенияонлайн градиентный методсходимость.
Metadata source: the journal's OAI-PMH archive · Sindex does not store the full text; it links to the source.