Мультимодальные задачи в машинном обучении

В машинном обучении есть различные разделы, изучающие способы анализа различных данных. В CV изучают анализ изображений, в NLP работают с текстом, в ASR со звуком. Но бывают и задачи на стыке этих областей. Где может быть полезно или даже необходимо одновременно работать с информацией разного типа. К примеру: задача классификации изображений с подписями, распознавание речи по видео с аудио, поиск изображений по текстовому запросу и т.д.. На семинаре мы подробнее поговорим о том, что такое мультимодальные з