Помните огнищенские примеры анимации лиц по одной фото от Алибабищенко и Микрософтченко ? Добавил их в шапку поста

Помните огнищенские примеры анимации лиц по одной фото от Алибабищенко и Микрософтченко ? Добавил их в шапку поста. Аватары и говорящие головы на основе традиционного 3Д обречены за непреодолимую зловещую долину, а вот нейроаватары на основе картинок и видео развиваются очень быстро. Но. Ни Алибаба, ни Микрософт не выкладывают код. А вот Тикточек - выкладывает. Держите ответочку от Тиктока, пусть по качеству там еще есть вопросы (связанные, скорее, с апскейлом и блюром), но в работе озвучен ОЧЕНЬ интересный момент. На входе в таких решениях обычно есть картинка, звук, возможно какая-то разметка, иногда глубина, информация о позе (часть из этого детектится автоматически). Так вот, все эти входные “сигналы“ имеют разный вес, и часто звук “забивается“ жесткой позой или другим параметром. А тут авторы научились балансировать сигналы между собой, чтобы варьировать “вольность“ следования звуку. И самое главное - бахнули код. В шапке примеры с разным влиянием звука на финальное видео. Можно разводить хозяйство локально. На гитхабе внизу приписка про коммерческое использование..