Инструменты оптимизации для задач SE

На практике нам хотелось бы иметь предиктивные способности во многих ситуациях: классифицировать объекты, генерировать недостающую информацию, определять наилучшее поведение, и всё это в автоматизированном режиме. Для этого обычно формулируется некоторая параметрическая модель явления или зависимости, после чего параметры подгоняются под наблюдаемую реальность в надежде на то, что зависимость легко обобщаема. В этом сущность машинного обучения. Оптимизация возникает на этапе подгона параметров — оказывается, однако, что минимизировать ошибку модели можно существенно различными методами. А знание закулисной математики при этом помогает как объяснять поведение методов, так и модифицировать постановку, обнаруживая новые свойства задачи. В рамках семинара будет рассказано о математических основах понятий “обобщающая способность” и “сложность задачи“, о теоретически оптимальных локальных методах и оппозиции глобальных процедур, о том, как правильные гипотезы улучшают решение задачи и позволяют находить новые, бол