Евгений Косарев — Обучение GigaChat с контекстом в сотни тысяч токенов
Ближайшая конференция I’ML:
#imlconf #ml #mlops #IT #conference #jugrugroup
Языковые модели достигли высокого качества ответов в самом широком спектре задач. Однако им не хватает контекста. Документы в десятки страниц текста А4 не помещаются в контекст алгоритма. Обсудим, как GigaChat увеличил контекст модели до сотен тысяч токенов (дальше — больше) и как проверял качество получившейся модели.
Рост контекста модели требует больше GPU-памяти и тратится больше времени на его обработку как на обучении, так и на инференсе. Задача состоит в том, чтобы в распределенном сетапе ускорить модель и оптимизировать использование памяти. Для этого нам помогут следующие технологии и библиотеки:
* Flash Attention.
* Sliding Window Attention (SWA).
* Расчет активаций тензоров. Tensor Parallel, Sequence Parallel.
* Ring Attention, Striped Ring Attention.
* Бенчмарк понимания длинного контекста PassKey.
Расскажу про плюсы и минусы каждого подхода, а также объединю их в пайплайн — на котором обучался GigaChat — позволяющий обучать и использовать модели на контексте в сотни тысяч токенов.
Будет полезно NLP-разработчикам и всем, кто интересуется LLM и развитием ИИ.
Скачать презентацию с сайта —
34 views
3190
1171
2 weeks ago 00:00:41 95
Косарев Евгений
2 weeks ago 00:01:57 1.2K
ОТК ПензГТУ 2024 - КТ - репортаж
3 weeks ago 00:04:47 3.3K
Люблю тебя – Владислав Косарев и Академический Большой концертный оркестр им. Ю. В. Силантьева.
1 month ago 00:12:29 932
[ShadowPriestok - Евгений Чернявский] ПРОДАЛ ЗОЛОТУЮ КНОПКУ ЗА 1000 РУБЛЕЙ ЧТОБЫ ВЫЖИТЬ! МАЙНКРАФТ ЖИЗНЬ БОМЖА В РОССИИ
1 month ago 00:03:38 1
Песенка о московском муравье. Олег Погудин. год.
1 month ago 00:03:28 1
ЗОМБ - Где Болит (ПРЕМЬЕРА КЛИПА)
1 month ago 00:05:25 1
“Летят перелётные птицы“ - Владислав Косарев
1 month ago 00:04:35 1
Ах, ты степь широкая - Владислав Косарев, хор “Пересвет“.
1 month ago 00:01:01 1
Евгений Кунгуров/Владислав Косарев/Максим Катырев/“Хвастать Милая не Стану“#евгенийкунгуров #память
2 months ago 00:08:38 1
26 мая 2014. Максим Катырев, Евгений Кунгуров, Владислав Косарев
2 months ago 01:37:12 1
Искатели (1956)
2 months ago 00:22:09 1
ВАС БУДУТ УДИВЛЯТЬ ТРИ БАРИТОНА:ЕВГЕНИЙ КУНГУРОВ, ВЛАДИСЛАВ КОСАРЕВ И МАКСИМ КАТЫРЁВ/ВЫ С НАМИ?
2 months ago 00:03:49 1
“Будь со мною строгой“, Владислав Косарев
2 months ago 00:35:14 31
Музыкальная сказка С. Прокофьева «Петя и волк»
2 months ago 01:36:40 4
Круглый стол на тему: «Импортозамещение. Какие решения выбирают застройщики и почему» в 11:00
3 months ago 00:05:34 1
“Даль великая“ - Владислав Косарев и Оркестр народных инструментов России им. Н. П. Осипова
3 months ago 00:05:21 1
Попурри на темы неаполитанских песен - Владислав Косарев, Максим Катырев, Евгений Кунгуров
3 months ago 00:46:06 25
Петр Чайковский Времена года Дирижер Евгений Светланов 1972
3 months ago 00:01:55 1
“Ничего на свете лучше нету...“
3 months ago 00:03:24 848
«Как быть»
3 months ago 00:01:00 1
Евгений Кунгуров, Владислав Косарев, Максим Катырев Попурри на тему Неаполитанских песен
3 months ago 00:02:48 3
Берлога “Блюз на краю мира“
3 months ago 00:02:20 56
Дети перемен | Эксклюзивный фрагмент | Смотрите этой осенью на START @START_SHOWS
3 months ago 00:01:03 1
Дети перемен | Тизер | Смотрите этой осенью на START @START_SHOWS