Как асимптотически быстро добавить позиционную информацию в механизм внимания / Максим Зубков

VK Lab Talks · Summer Edition, 1 июля, онлайн. Продолжили тему одного из предыдущих докладов — о быстрых трансформерах и позиционных добавках (). Максим Зубков, студент четвёртого курса ФПМИ, расскажет, как асимптотически быстро добавить позиционную информацию в механизм внимания. Немного подробностей от Максима: «Я расскажу о подходе, разработанном в VK Lab. Он улучшает качество архитектуры Transformer и при этом обладает вычислительной сложностью, квазилинейной по длине последовательности. Наш подход добавляет в механизм внимания позиционную информацию и так улучшает качество модели. Высокая скорость достигается за счёт алгоритма быстрого преобразования Фурье. Разобраться с ним может любой человек, освоивший курс линейной алгебры. Советую для подготовки прочитать статью по теме ()». Следите за нашими новостями в сообществе VK Lab: