Распознавание образов и машинное обучение. Чтение 40. Гауссовские процессы: автоматическое определение значимости, классификация

Продолжаем изучать способы применения модели гауссовских процессов к задачам машинного обучения. 1. Снова обращаемся к методу оценки гиперпараметров ядра, используемого для построения матрицы ковариации гауссовского процесса. Мы рассматривали способ, основанный на максимизации функции правдоподобия (с замечанием, что максимизация апостериорного распределения делается похожим образом). Сейчас же мы отмечаем, что на место квадрата расстояния между входными векторами в стандартном экспоненциальном ядре можно поставить взвешенную сумму квадратов разностей координат этих векторов. Коэффициенты этой суммы можно подбирать процедурой оптимизации гиперпараметров. Чем выше получится коэффициент для некоторой координаты, тем больший вклад эта координата будет вносить в ослабление ковариации, тем свободнее может быть разброс целевых значений при разбегании входных значений по этой координате, тем значимее сама эта координата для предсказания целевого значения. 2. Начинаем погружать задачу двоичной классификации в модель гауссовских процессов. Мы используем уже известное нам разделение задачи на композицию логистической сигмоиды и функции активации: σ∘a. Это необходимо, потому что значения гауссовского процесса не ограничены, а целевая переменная должна лежать на отрезке [0, 1]. После нехитрых байесовских преобразований мы приходим к уже известному нам интегралу, для аналитической работы с которым потребуется вспомнить искусство лапласовых приближений. #теорвер и #machinelearning, #иммуроран и прикладной #матан