Доклад Дмитрия Ветрова (Samsung AI, НИУ ВШЭ) на 2021

Доклад Дмитрия Ветрова на 2021 “Фрактальность функции потерь, эффект двойного спуска и степенные законы в глубинном обучении - фрагменты одной мозаики“. За последние годы в глубоких нейронных сетях был обнаружен ряд необычных эффектов, показавших, что мы плохо понимаем, что происходит в процессе их обучения. В докладе рассказывается о попытках увязать эти эффекты в единую гипотезу.