Как насчет LivePortrait, только не портрет а LiveBody Алибабищенко уже выкатывал EMO для анимации лиц

Как насчет LivePortrait, только не портрет а LiveBody? Алибабищенко уже выкатывал EMO для анимации лиц, сейчас выкатил MIMO - для анимации всего тела. Спойлер: кода, как и для EMO нет, есть пустой гитхабчег. Ну то есть вы можете брать full body video одного персонажа, фотачку другого - и хоп, второй начинает двигаться как первый. Это можно назвать как угодно - новый нейромокап, фулл-боди дипфейк, нейрориг и нейроскининг(для тех кто в теме). Короче, ИИ берет и восстанавливает из видео позу - то есть двигающийся скелет (как бы нейромокап) Потом на этот скелет он насаживает входную фотографию (или сгенерированную картинку из флюкса) - нейроскининг. Картинка начинает плясать, как персонаж на входном видео - нейрориг. Более того, она вписывается в исходное видео - нейрокомпоз. Поглядите на баскетболиста. В общем да, это обобщенный метадипфейк. На всё туловище. Есть два минуса. 1. Кода нет. И зная Алибабского - вряд ли будет. 2. Это все НЕ видео модель, это продолжение идей Animate Anyone и кода AnimatedDiff. Поэтому карманы ездят по штанине, мелкие детали то появляются, то исчезают, а про пальцы мы не говорим. Но подумалось мне, что мы можем подать результат в video2video от Рунвея и получить не кипящий вариант. Время работает на ИИ. Скоро все будет. В одном флаконе. Подождите немного. P.S. Кстати, кто не понял, на вход можно присунуть просто 3Д-скелет, если он у вас есть. Можете попробовать ваши гениальные анимации надеть на не менее гениальные фотографии и посмотреть, что будет.
Back to Top