Как работает механизм внимания в нейронных сетях?

Механизму внимания уже два года и он не только теперь является одним из классов PyTorch API, но и служит основой для таких моделей обработки естественного языка как BERT, RoBERTa и RuBERT(Deep Pavlov). В этом видео мы пошагово разберем принцип работы механизма внимания в нейронных сетях.