Innovations in Science and Technologies Том 2 № 7 (2025) · с. 438-452
АНАЛИЗ СХОДИМОСТИ ОНЛАЙН ГРАДИЕНТНОГО МЕТОДА ДЛЯ НЕЙРОННЫХ СЕТЕЙ С МНОЖЕСТВЕННЫМИ ВЕСОВЫМИ СВЯЗАМИ
Худайбергенов, Кабул, Марахимов, Авазжон
Аннотация
В данной статье исследуется свойство сходимости онлайн- градиентного обучения для алгоритма обратного распространения ошибки для нейронных сетей прямого распространения с двумя скрытыми слоями с множественными весовыми связами. Предполагается, что в каждом цикле обучения каждый пример обучения в наборе обучающих данных передается в стохастической форме в многослойную нейронную сеть прямого распространения с множественными весовыми связами ровно один раз. Приводиться свойство слабой и сильной сходимости для подходов к обучению, указывая, что градиент функции ошибок стремится к нулю, а весовые коэффициенты - к значению фиксированной точки соответственно. Сначала приводиться результат сходимости для подхода полностью стохастического порядка, а затем - для подхода специального стохастического порядка. Условия на функцию активации нейронной сети и скорость обучения, гарантирующие сходимость, смягчены по сравнению с существующими результатами. Свойства сходимости в данной статье изучаются для сигмоидального типа функции активации, однако эти результаты справедливы и для других типов функций активации.
нейронные сетиметод обратного распространенияонлайн градиентный методсходимость.
Источник метаданных: OAI-PMH архив журнала · Sindex не хранит полный текст, а даёт ссылку на источник.