Шум при обучении делает нейросети устойчивее и надежнее

САРАТОВ, 27 февраля. /ТАСС/. Коллектив Саратовского национального исследовательского университета имени Н. Г. Чернышевского доказал, что шум при обучении делает нейросети устойчивее и надежнее. Об этом сообщили ТАСС в пресс-службе Минобрнауки РФ.

"Добавление шума в процессе обучения способно повысить устойчивость аппаратных нейронных сетей к помехам при дальнейшей работе. К таким выводам пришли ученые Саратовского национального исследовательского университета имени Н. Г. Чернышевского", - отметили в пресс-службе.

Коллектив вуза в своем исследовании предлагает изменить подход к обучению "железного" искусственного интеллекта. Ученые предложили не бороться с внутренними шумами, а использовать их как инструмент повышения надежности.

"Сегодня большинство нейронных сетей работают в цифровой форме - на обычных компьютерах и графических процессорах. Однако такие системы требуют значительных вычислительных ресурсов и энергии, а их масштабирование связано с техническими ограничениями", - отметили в пресс-службе.

На данный момент активно развивается направление аппаратных нейронных сетей. Это физические устройства, в которых нейроны и связи реализованы на уровне электроники или других физических элементов.

По данным ученых, любое физическое устройство подвержено шумам - тепловым возмущениям сигналов. Традиционно такие эффекты рассматриваются как источник ошибок. Исследователи ожидали, что внутренний шум будет снижать точность работы нейросети, но результаты показали обратное.

Неожиданный эффект

В пресс-службе пояснили, что в работе моделировалось воздействие белого гауссовского шума, который вводился либо в сами нейроны, либо в связи между ними. Нейронные сети обучались распознавать изображения и предсказывать сложные квазипериодические и хаотические сигналы. В результате оказалось, что присутствие шума на этапе обучения повышает устойчивость системы к помехам в дальнейшем.

Авторы исследования отмечают, что эффект стал для них неожиданным. По словам руководителя исследования, доцента кафедры радиофизики и нелинейной динамики университета Надежды Семеновой, изначально ученые были уверены, что влияние шума окажется исключительно негативным. Исследователи считали, что точность сети будет падать, а перед учеными встанет задача поиска методов борьбы с шумом в процессе обучения.

"Для нас было большой неожиданностью, что добавление шума в процессе обучения - это уже способ борьбы с шумом. По сути, в своей работе мы показываем, что любую аппаратную сеть необходимо обучать с внутренними шумами. Это существенно повысит резистентность сети к шуму в дальнейшем в процессе работы, даже если параметры воздействий были не идеально подобраны", - процитировали Семенову в пресс-службе Минобрнауки РФ.

По словам исследователей, речь идет не о стандартных алгоритмических приемах, применяемых в программных нейросетях для борьбы с переобучением. "Новизна подхода заключается в том, что шум

рассматривается как физическая характеристика аппаратной системы. Авторы первыми системно показали, что если "шуметь" на сеть в процессе обучения, то затем в реальных или даже более сложных условиях она будет работать лучше. Для некоторых типов шумовых воздействий сеть можно сделать практически полностью устойчивой", - подчеркнули в пресс-службе.

Практическое значение

Практическая значимость работы связана с развитием энергоэффективных аппаратных нейросетевых устройств нового поколения. Такие системы потенциально могут применяться в задачах обработки изображений, анализа сигналов и автономных вычислений в условиях ограниченных ресурсов. "Повышение их устойчивости к физическим помехам критично для реального применения", - добавили в пресс-службе Минобрнауки РФ.

В дальнейшем коллектив вуза планирует распространить полученные результаты на более сложные спайковые нейронные сети. Исследователи считают, что их работа меняет взгляд на одну из фундаментальных проблем аппаратного искусственного интеллекта. "Если полностью избавиться от

шума невозможно, его можно превратить из источника ошибок в механизм повышения надежности. Именно этот сдвиг в подходе становится главным результатом исследования", - подчеркнули в пресс-службе.

Работа ученых поддержана грантом Российского научного фонда и соответствует стратегическим направлениям развития Саратовского университета по программе "Приоритет-2030".