Международная группа исследователей с участием математиков из Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ теоретически обосновала простой и вычислительно лёгкий метод оценки неопределённости для стохастического градиентного спуска (SGD). Работа опубликована на arXiv.org и представлена на конференции AISTATS 2026. Стохастические алгоритмы широко применяются в оптимизации и машинном обучении, но для построения доверительных интервалов традиционные методы требуют сложных статистических оценок — например, явного вычисления предельной ковариационной матрицы, что ресурсозатратно и иногда неточно.
Авторы проанализировали эмпирически популярный подход, который не требует повторного обучения модели и сложных вычислений. Они показали, что этот метод корректно воспроизводит распределение усреднённого решения SGD и не нуждается в явной оценке предельной ковариационной матрицы. Как пояснила младший научный сотрудник Международной лаборатории стохастических алгоритмов Марина Шешукова, подобные методы уже применялись на практике и часто показывали лучшие результаты, но до сих пор не было строгого математического объяснения этого преимущества.
Математическое доказательство позволяет пересмотреть отношение к простым эмпирическим методам оценки точности в машинном обучении. Разработчики смогут получать надёжные оценки неопределённости быстрее и с меньшими вычислительными затратами, что критически важно в областях, где нужно знать не только предсказание, но и степень уверенности в нём, — например, в медицине, финансах и автономных системах.
Работа открывает возможность более широкого применения лёгких методов оценки неопределённости без потери точности. Это снижает требования к вычислительным ресурсам и ускоряет процесс принятия решений на основе моделей машинного обучения. Исследование выполнено при поддержке НИУ ВШЭ.
