Effective benchmarking in NLP, тренды 2022

Старший научный сотрудник, руководитель группы NLP Татьяна Шаврина, научный сотрудник Олег Сериков и младший научный сотрудник Виталий Протасов в этом году проводят воркшоп на ACL 2022, посвященный эффективным вычислениям в бенчмарках. Бенчмарки сыграли решающую роль в ускорении прогресса в области NLP, охватывая широкий спектр направлений исследований: понимание естественного языка (GLUE, SuperGLUE), генерацию естественного языка (GEM), кросс-языковой перенос знаний (XGLUE, XTREME), пробинг и интерпретацию (LINSPECTOR, SentEval), оценку смещенности и предвзятость (HateCheck, StereoSet, HONEST) и устойчивости к атакам (RobustnessGym, AdvGLUE). Несмотря на то, что концепция бенчмаркинга стала стандартной практикой для сравнения будущих моделей друг с другом и с людьми, все еще остается ряд нерешенных вопросов и методологических проблем: На семинаре обсудили: - интерпретируемость моделей и бенчмарки - вычислительную эффективность и энергопотребление в NLP - новые практики измерения языковой компетенции в одно- и многоязычных тестах; - критический анализ существующих методов оценки моделей Делимся ссылками на страницы воркшопа: