Делаем pruning (сжатие нейронной сети путем удаления весов) при обучении BERT в задаче NER

Подробный разбор удаления (для уменьшения потребления памяти) attention heads и весов полносвязных слоев (pattern 4x1) в BERT при обучении на задаче named entity recognition. Код к видео: Больше материалов по LLMs: Ml16EbQoepcwMGNi