Необычные свойства функции потерь в глубинном обучении. Дмитрий Ветров, НИУ ВШЭ
За последние несколько лет в нейронных сетях обнаружен ряд необычных эффектов. Среди них можно упомянуть связность глобальных минимумов, двойной спуск, разрыв между теоретическими предсказаниями и практическими результатами, т.н. «минные поля» в пространстве весов.
На вебинаре Дмитрий Ветров, один из самых заметных российских ученых в области машинного обучения, подробнее рассмотрел эти эффекты и представил гипотезу, которая может, по крайней мере, частично объяснить, что происходит в процессе обучения нейронной сети и какими свойствами обладает оптимизируемая в ходе него функция потерь. Основываясь на этой гипотезе Дмитрий предложил ряд экспериментов, которые могут дать ее косвенные подтверждения и расскажет о предварительных результатах. Лучшее понимание динамики обучения нейросети может привести к созданию более эффективных методов обучения. В докладе указаны возможные пути для их улучшения.
Спикер: Дмитрий Ветров, НИУ ВШЭ, Москва, Россия.
1 view
543
249
3 days ago 00:02:10 1
Особенности недели после праздника Троицы. Священник Валерий Сосковец
3 days ago 00:08:12 1
Особенности установки скрытой двери Invisible под отделку
3 days ago 00:29:53 1
Особенности работы с утратой в гештальт-подходе. Елена Шляхетко.
3 days ago 00:00:22 1
Я покажу тебе какая я особенная
3 days ago 00:07:05 1
Много пекла вариантов торта “Наполеон“ этот самый лучший (особенный): мама рецепт сохранила из 70-х
3 days ago 01:49:31 1
В чем особенность книги Левит? Что Библия говорит о чистой и нечистой пище?
3 days ago 00:41:57 1
Социальный интеллект школьника: возрастные особенности развития
3 days ago 00:19:46 1
КАК БЫТЬ В ДУХЕ СВЯТОМ? Почему ДУХОВНЫЕ СОВЕТЫ апостола Павла для нас особенно важны.
3 days ago 00:00:00 1
Сергей Козуб «Магия и оккультизм с нуля: особенности сферы и обучения»
3 days ago 00:14:14 1
КОНОПЛЯ - СЕНСАЦИЯ, О КОТОРОЙ МОЛЧИТ ОФИЦИАЛЬНАЯ МЕДИЦИНА
3 days ago 00:40:17 1
Красиво и больно: декор оружия раннего средневековья. Особенности и техники. Антон Малахов
3 days ago 00:05:42 1
ДЕДЕННЕ - ОСОБЕННОСТИ, СПОСОБНОСТИ, ПРООБРАЗ
4 days ago 00:08:40 1
Особенности регулирования труда несовершеннолетних
4 days ago 00:04:47 1
МС полимеры Vs полиуретановые материалы. Особенности, назначение, применение ms герметиков и клеев
4 days ago 00:15:08 1
Новый производитель 3D декалей EMBOSS. Мои впечатления, особенности в работе, стоит ли брать. Обзор!
4 days ago 00:01:01 1
Такого благолепия и красоты храма вы ещё не видели, особенно в конце под куполом храма
4 days ago 00:12:43 1
Так НЕЛЬЗЯ качать пресс. Особенно если вам 40+! Делайте правильно и наладите пищеварение и спину!
4 days ago 00:57:42 1
Ищем нож для кордона Кузьмича | Клинок 2023
4 days ago 00:34:49 1
Виктор Бычков. Тайны Кузьмича и его кордона
4 days ago 01:18:36 1
Виктор Бычков. Кузьмич и его ножи
4 days ago 01:15:39 1
ЛУСИНЕ ХАЧАТРЯН: Почему у хороших людей рождаются ОСОБЕННЫЕ ДЕТИ?
4 days ago 00:13:21 1
Смотреть родителям,у кого особенные дети!
4 days ago 00:13:53 1
Почему запретили АСД 2. Запрещённое средство из СССР