Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редс
Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редстоуна .
Авторы, наверное, сами на нем выросли, и вот теперь они представили агента OmniJARVIS, который способен выполнять комплексные таски, такие как крафт каменной (не деревянной) кирки. Т.е. он понимает, что сначала ему нужно сделать верстак, потом деревянную кирку, и только потом, добыв булыжник, каменную.
Для этого используют, можно сказать, новый вид мультимодальных LLM - VLA (Vision Language Action).
У нас здесь есть как бы два мозга. Мозг LLM и спинной мозг – поведенческий детокенайзер, который интерпретирует аутпут LLM в действие. Действия предварительно тренируются, используя датасет из кучи видосов по Майнкрафту. LLM пишет, что делать, детокенайзер находит у себя в базе выученных действий нужное и шаг за шагом идет к своей цели. И все это вроде как работает очень дружно и слаженно.
В видосе агент сам поставил себе план: добыть дерево, создать верстак и скрафтить необходимые инструменты. Все эти действия он научился делать заранее, здесь они выполняются командой экшн. В записи показано, как это выглядит.
Еще один пример смотрите в первом комменте.
Что это значит?
Мы уже научились обучать роботов делать какие-то простые таски: Вот свежий пост про живую сталь и GR00T среду для виртуальной тренировки. У нас уже много примеров того, как боты складывают вещи, моют, убирают и прочее, тут и тут . В этом посте показан не первый, конечно, но очень качественный пример системы, которая объединяет все эти отдельные выученные действия в один общий план, когда бот сам анализирует обстановку, планирует и решает задачи.
Кажется, это уверенные шаги в сторону автономных агентов и происходят они в Майнкрафте (т.к., там проще тестировать и обучать). Теперь ждем более сложного планирования и для физических роботов.
Project page
Пейпер
Код!
И даже Датасет обещают скоро
1 view
54
9
2 weeks ago 00:04:36 1
Данечка собирается в Африку / Daniela goes to Africa
2 weeks ago 00:05:09 1
ЖИЗНЬ НАЧНЁТ МЕНЯТЬСЯ К ЛУЧШЕМУ!
2 weeks ago 00:15:23 1
СУДЖА - МЫ ДЕРЖАЛИСЬ, МЫ НЕ ПУСКАЛИ СЛЁЗЫ : история спасения семьи Яценко : военкор Марьяна Наумова
2 weeks ago 00:02:52 1
166 дней до вступления в НАСЛЕДСТВО
2 weeks ago 00:00:58 1
🌺 «Он видел БОГОРОДИЦУ вживую, вот что он сказал о Ней...» • Св. Дионисий Ареопагит
2 weeks ago 00:25:19 1
ИХ Невозможно СЛУШАТЬ! Топ 11 Худших вокалистов в ИСТОРИИ!
2 weeks ago 00:09:15 1
МАЧЕТЕ ОРАКУЛ
2 weeks ago 00:03:50 1
ЗВЕРОБОЙ - Мой Мариуполь (клип)
2 weeks ago 00:31:19 1
Forza Horizon 4 - Первое знакомство #1
2 weeks ago 00:11:36 1
Вкуснее пирога я ещё не ела / Pie with berries
2 weeks ago 00:11:19 2
КАК ВСЕГДА ВЫИГРЫВАТЬ В КАЗИНО НА GTA 5 RP? | ЛУЧШИЕ ТАКТИКИ ДЛЯ КАЗИНО В ГТА 5 РП
2 weeks ago 00:04:16 1
CROW - САМАЯ НЕВЕРОЯТНАЯ МЕЛОДИЯ В МИРЕ
2 weeks ago 01:17:03 1
Марафон «Декретницы» #1. Как восполнить ресурсы? Как избавиться от чувства вины?