Стохастический градиентный спуск

На семинаре мы обсудим методы стохастической оптимизации, необходимые для решения многих задач оптимизации, возникающих в машинном обучении. Начнем с общей постановки широкого класса задач машинного обучения, сводящихся к параметрической оптимизации и обсудим, почему классические алгоритмы оптимизации для таких задач применять не получается. Затем поговорим про стандартный метод стохастического градиентного спуска, затронем проблемы, которые часто возникают при использовании метода as is и обсудим основные