Аппроксимации нейронными сетями минимального размера

Аппроксимации нейронными сетями минимального размера: экзотические режимы и сверхвыразительные активации. Спикер: Дмитрий Яроцкий, Сколтех, Москва, Россия. Дмитрий рассказал про некоторые «экзотические» режимы, возникающие при теоретических исследованиях аппроксимаций функций нейронными сетями минимального размера. Классическая теория предсказывает вполне определенные степенные зависимости между сложностью модели и точностью аппроксимаций функций данного класса гладкости при условии непрерывной зависимости параметров модели от аппроксимируемой функции. Оказывается, что эти зависимости могут нарушаться, если в качестве модели использовать очень глубокие и узкие нейронные сети и не требовать упомянутой непрерывности. Этот эффект имеет место при обычных функциях активации, например ReLU. Кроме того, существуют определенные «сверхвыразительные» наборы функций активации, которые теоретически позволяют аппроксимировать любую непрерывную функцию с любой точностью одной сетью с фиксированным числом нейронов (не з