ICRT : Внутриконтекстное обучение имитации действия с помощью предсказания следующего токена
ICRT : Внутриконтекстное обучение имитации действия с помощью предсказания следующего токена.
In-Context Robot Transformer (ICRT) - модель, которая позволяет роботу выполнять новые задачи, интерпретируя контекстную информацию, предоставленную во время демонстрационной фазы, без обновления параметров базовой политики.
ICRT представляет собой причинно-следственный трансформер, который выполняет автоматический прогноз сенсомоторных траекторий без использования лингвистических данных или функции вознаграждения. Он позволяет гибко и без обучения выполнять новые задачи на основе наблюдений изображений, действий и состояний, собранных с помощью телеопераций человека.
Модель состоит из трех частей: предварительно обученного кодировщика изображений, серии проекторов для каждой из входных модальностей и каузального трансформера:
Кодировщик изображений обрабатывает разноплановые наблюдения через трансформер, который был обучен на смеси данных ImageNet и Open X-Embodiment
Проекторы преобразуют наблюдения, состояние робота и действия в общее латентное пространство для последующего моделирования
Трансформер принимает на вход последовательность токенов, представляющих состояние робота и действия, и производит выходные данные, которые используются для управления роботом.
Для предварительного обучения модели использовался датасет DROID и созданный вручную мультизадачный датасет ICRT-Multi-Task (ICRT-MT - 1098 траекторий, 26 задач с 6 примитивами), который использовался в этапе дообучения.
Результаты экспериментов показывают, что ICRT способен обобщать незнакомые задачи и объекты, даже в средах, которые отличаются от демонстрационных.
Установка:
conda create -n icrt python= -y
conda activate icrt
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia
conda install -c conda-forge ffmpeg
git clone
cd icrt
pip install -e .
sudo apt install git-lfs
git lfs install
git clone git@:mlfu7/ICRT checkpoints
Пример инференса приведен в ноутбуке . Перед его запуском обязательно ознакомьтесь с рекомендациями по загрузке и созданию собственного датасета.
Лицензирование : Apache 2.0 License.
Arxiv
Dataset
Модель
Github
21 view
35
9
1 month ago 08:00:00 1
8-Hour Animal Reiki Session | Calm and Healing for Your Pets 🐾
3 months ago 00:00:47 21
ICRT : Внутриконтекстное обучение имитации действия с помощью предсказания следующего токена
3 months ago 00:07:21 1
TANYA La Queen ~ Nuevo-VIDEO-Colladge- # 2 - Album CORAZON ENCENDIDO [By: Rui3e]
5 months ago 00:02:35 1
Hotel La Rivera de Santa Clara funciona como centro de aislamiento
5 months ago 00:31:05 1
Desarticulan plan terrorista contra Cuba, organizado y financiado desde .
5 months ago 00:04:36 5
Встреча президента Кубы Мигеля Диас-Канеля с участниками бригады солидарности «Let Cuba Live»
7 months ago 00:04:37 1
Jóvenes de ciencia galardonados por el CITMA comparten sus historias
8 months ago 00:00:52 1
A 60 años del Memorando de Lester Mallory , . insiste en la misma política genocida contra Cuba
8 months ago 00:02:14 1
Aquel histórico 13 de marzo en Cuba
9 months ago 00:02:43 1
Лучшие смартфоны 2016
9 months ago 00:03:37 1
Cuba busca información precisa sobre médicos secuestrados en Kenia
11 months ago 00:26:54 1
Intervención del General de Ejército Raúl Castro en aniversario 65 del Triunfo de la Revolución
11 months ago 02:22:23 1
Magick Ritual Music ♡ Reiki ♡ Ambient Arabic Meditation Music
12 months ago 00:05:45 1
Pronunció presidente de Cuba discurso de apertura de Cumbre de Grupo de 77 y China
12 months ago 00:02:26 1
Declaración del Ministerio de Relaciones Exteriores de Cuba
1 year ago 00:01:12 1
Inicia en Cuba Ejercicio Estratégico Baraguá 2023
1 year ago 00:02:07 1
Comandante en Jefe del Ejército de Nicaragua rindió tributo a Antonio Maceo en Cuba
1 year ago 00:03:04 1
Presidente de China recibe al Primer ministro de Cuba
1 year ago 00:07:48 1
Fernández-Magriñá: Organizador de actos terroristas contra Cuba
1 year ago 00:02:49 1
Cuba/Rusia: Esteban Lazo rindió homenaje a Fidel
1 year ago 00:03:37 1
Presidente del Parlamento de Cuba inició visita oficial a Rusia
1 year ago 00:48:38 1
Palabras del Presidente de Cuba en acto organizado por la solidaridad en Nueva York
1 year ago 00:04:13 2
Cuba: Zona Especial de Desarrollo Mariel fomenta la inversión extranjera
1 year ago 00:40:03 1
Conferencia de prensa del canciller de Cuba con motivo de la Cumbre del G77 y China