Auratura: аудиореактивный генератор стихов и декламаций в реальном времени TouchDesigner + ChatGPT + ElevenLabs

Соединяя сферы звука, живых выступлений и литературы, я создал систему в TouchDesigner, которая преобразует аудиоданные в реальном времени в уникальные стихи, сгенерированные искусственным интеллектом, которые читаются также в реальном времени. Эта художественная инсталляция с использованием искусственного интеллекта и методов озвучивания данных призвана дать жизнь цифровому барду, который, как мы надеемся, будет красиво и осмысленно сопровождать музыкальные композиции. Я работал над этим в течение последних нескольких месяцев, и позвольте мне сказать вам, что было много интересных моментов, когда я использовал эту систему для сопровождения живых выступлений. Надеюсь, что оба примера, показанные в этом посте, дадут вам представление о том, о чем я пишу. Вкратце, процесс происходит следующим образом: Источник звука в реальном времени ➨ Частотный анализ ➨ Сопоставление поэтических элементов ➨ Генерация стихов [ChatGPT API] ➨ TextToSpeech [ElevenLabs API] Наполненный волнением, я не могу перестать думать о возможных крутых способах использования системы с такими характеристиками: от использования ее в качестве участника живой группы до круглосуточного онлайн-радио или красивой интерактивной инсталляции. PS: Недавно я получил билеты на самолет в Европу на эту осень, и я хотел бы взять с собой Ауратуру. Если вы заинтересованы в размещении этой установки или знаете интересные места/площадки, пожалуйста, свяжитесь с нами. Дополнительные эксперименты, руководства и файлы проекта можно найти по адресу: