AdaCache : ускорение DiT в генерации видео через необучаемое адаптивное кэширование
AdaCache : ускорение DiT в генерации видео через необучаемое адаптивное кэширование.
AdaCache основан на наблюдении, что «не все видео одинаковы»: некоторым видео требуется меньше шагов денойза для достижения приемлемого качества, чем другим.
AdaCache использует кэширование остаточных вычислений в блоках трансформера (например, выходные данные механизмов внимания или MLP) на определенном шаге диффузии и повторного использования их на нескольких последующих шагах, количество которых зависит от генерируемого видео.
Решение о том, когда нужно выполнить следующее вычисление, принимается на основе метрики расстояния, которая измеряет скорость изменения между сохраненными и текущими представлениями.
Чтобы избежать артефактов для динамики используется регуляризация движения (MoReg).
MoReg оценивает движения в латентном пространстве на основе разности остаточных кадров, а чтобы эта оценка была эффективна на ранних шагах диффузии, MoReg вычисляет градиент движения, который выступает в качестве разумного раннего предиктора. И оценка движения, и градиент движения используются в качестве масштабирующего фактора метрики расстояния для регуляризации схемы кэширования AdaCache .
AdaCache был протестирован на Open-Sora-v1.2, Open-Sora-Plan-v1.1 и Latte. Результаты показали, что AdaCache обеспечивает ощутимое ускорение без ущерба для качества генерации. Фактически, он достигает ускорения в , и соответственно на трех рассмотренных базовых видео.
Прикладной кейс использования AdaCache предлагается на бейслайне Open-Sora с вариантами запуска: Baseline, AdaCache и AdaCache MoReg.
Пример инференса рекомендуются на одном GPU A100 (80Gb)
Инференс:
bash configs/
bash configs/
bash configs/
Лицензирование: Apache 2.0 License.
Страница проекта
Техотчет
GitHub
1 view
18
4
3 hours ago 00:00:02 1
AdaCache : ускорение DiT в генерации видео через необучаемое адаптивное кэширование
8 years ago 00:12:14 4
Tips ’N Tricks - CS:GO #50 - Opções de CT no bombsite A da cache