Андрей Грабовой: Априорное распределение параметров моделей глубокого обучения

Семинар Априорное распределение параметров в задачах выбора моделей глубокого обучения Диссертация на соискание ученой степени кандидата физико-математических наук Грабовой Андрей Валериевич Работа посвящена выбору моделей глубокого обучения. Рассматриваются методы снижения пространства параметров моделей на основе дистилляции. Предлагается обобщение классической дистилляции используя выравнивания вероятностных пространств параметров модели учителя и ученика. Для снижения размерности пространства параметров используется информация об их априорном и апостериорном распределениях. Разобраны частные случае, когда учитель и ученика являются полносвязными и рекурентными нейросетевыми моделями.