Распознавание образов и машинное обучение. Чтение 34. Байесовское обучение нейросетей
Завершаем главу о нейросетях байесовскими методами работы с ними. Через несколько глав мы вернёмся к этой проблеме с продвинутой технологией вариационного вывода. Здесь же мы переносим байесовские процедуры работы с линейными моделями на нейросети.
Функция нейросети нелинейна, и это создаёт сложности. Но мы сталкивались с подобными проблемами при байесовском анализе линейных классификаторов, и знаем, что делать. Нужно искать моду апостериорного распределения параметров нейросети методом максимизации этого распределения, после чего строить приближение Лапласа вокруг этой моды, чтобы получить нормальное апостериорное распределение параметров, которое можно использовать для построения прогнозного распределения. С ним тоже возникнут проблемы из-за нелинейности функции нейрости. С этим обстоятельством мы справляемся при помощи линеаризации функции нейросети через ряд Тейлора в окрестности найденных параметров нейросети.
Необходимые для всех этих вычислений градиенты и гессианы можно рассчитывать методом обратного распространения ошибок.
Кроме этого, мы можем перенести и процедуру оптимизации гиперпараметров для линейных моделей на нейросети. С оговоркой о том, что апостериорное распределение для нейросети окажется мультимодальным, и поэтому параметры нейросети, полученные максимизацией апостериорного распределения, будут зависеть от выбора начальных значений численного метода оптимизации. Тем не менее, мы можем использовать эту процедуру для сравнения моделей с разной архитектурой скрытых слоёв, помня о том, что вероятность - это мера, а найденные нами параметры нейросети принадлежат большому классу эквивалентных по задаваемой функции параметров, на что нужно делать поправку.
#теорвер и #machinelearning, #иммуроран и прикладной #матан
226 views
373
96
1 month ago 01:11:49 1
Семинар “Поведение собак при обнаружении больного животного по запаху“ // Марина Юрьевна Кочевалина
1 month ago 00:15:02 1
ТОП 15 ЛОВУШЕК ЦИФРОВОГО ОБРАЗОВАНИЯ - для чего внедряют цифровые технологии в школах ?
1 month ago 01:58:16 1
Владимир Фридман. Угнетение, господство и эмансипация
1 month ago 00:59:45 1
Магия звука: как работает слух? Вера Толченникова
1 month ago 00:54:09 1
Секретные факты: Кто управляет Россией и правда ли Путин жив?
1 month ago 00:35:42 1
РАСПОЗНАВАНИЕ ОБРАЗОВ | Cyberpunk 2077
1 month ago 00:04:20 1
Биология 8 класс (Урок№11 - Анализаторы слуха и равновесия.)
1 month ago 00:09:36 1
Биометрические данные в Сбербанке. Биометрия - это не чипирование, но у Вас есть право отказаться.
1 month ago 00:07:23 1
ОБЖ 10 класс (Урок№8 - Основы медицинских знаний и профилактика инфекционных заболеваний.)
1 month ago 01:14:05 1
Просветлённый старец разоблачает религии! Рептилоиды, черная магия и демоны в церквях – Лев Клыков
1 month ago 00:00:58 1
Просветлённый старец разоблачает религии! Рептилоиды, черная магия и демоны в церквях — Лев Клыков
1 month ago 00:00:59 151
Учимся говорить на японском. Просто. Визуально. Интерактивно.
1 month ago 01:06:01 34
Распознавание образов и машинное обучение. Чтение 39. Регрессия через гауссовский процесс
1 month ago 01:14:33 23
Распознавание образов и машинное обучение. Чтение 38. Гауссовские процессы
1 month ago 01:10:35 1
На пути к технологиям нейроинтерфейсов. Александр Каплан. Часть 2
1 month ago 00:54:18 1
[ИТ-лекторий] Как применить технологии компьютерного зрения в бизнес-реалиях