InkSight: Преобразование рукописных заметок в цифровой формат с анимацией почерка
InkSight: Преобразование рукописных заметок в цифровой формат с анимацией почерка.
InkSight - модель, разработанная в Google Research, для конвертации изображений рукописных заметок в цифровой формат, воспроизводящий процесс написания. Эта технология, “derendering“, позволяет преобразовать физический почерк в цифровую форму, сохраняя его индивидуальность и динамику.
InkSight в отличие от OCR , выполняет захват рукописного текста в виде набора штрихов, а не просто преобразует его в текст.
Процесс преобразования входного изображения с рукописным текстом разбит на три этапа: OCR для извлечения слов, обработка каждого слова по отдельности и замена пиксельного представления слов штрихами.
Для обучения модели используются пары изображений текста и соответствующих цифровых штрихов. Штрихи, полученные из траекторий письма в реальном времени, представляются в виде последовательности точек, а соответствующее изображение создается путем рендеринга этих штрихов.
Уникальный этап в обучении модели - “ink tokenizer“, преобразующий точки в формат, удобный для обработки LLM.
Архитектура InkSight вдохновлена моделью Pali и состоит из кодера ViT и кодер-декодера mT5. Были обучены три варианта модели:
Small-i - 340M (ViT B/16 mT5-base), обучена на датасете JFT-300M;
Small-p - 340М (ViT B/16 mT5-base), обучена на датасете ImageNet-21k;
Large-i - 1B (ViT L/16 mT5-large), обучена на датасете JFT-300M.
Все модели используют контекст длиной 1024 для инференса и 128 для ввода.
Результаты качественной оценки с базовым методом GVS (General Virtual Sketching) показали, что модели InkSight более точно воспроизводят текстовое содержимое, игнорируя нерелевантный фон, и лучше справляются с окклюзиями по сравнению с GVS.
Количественная оценка показала, что большинство штрихов, сгенерированных моделью Large-i, сопоставимы по качеству с результатами, полученными вручную.
В открытый доступ опубликована модель InkSight small-p в вариантах для запуска на CPU\GPU и TPU , дополнительные материалы , упомянутые в техническом отчете и ноутбук с инфренсом модели на нескольких примерах пример кода для выполнения инференса.
Локальный запуск клонированием InkSight Demo HF :
git clone
pip install gradio gdown
python
Лицензирование: Apache 2.0 License.
Страница проекта
Модель
Arxiv
Demo
GitHub
4 views
28
9
1 month ago 00:08:41 670
Энергия, инсайты, трансформация: что говорят участники о курсе Алёны Леднёвой
1 month ago 00:03:27 26
Почему одного инсайта недостаточно для качественных изменений в жизни?
2 months ago 00:39:14 180
Как делать МГНОВЕННЫЕ изменения в своей жизни! Анар Дримс.
2 months ago 00:00:22 4
InkSight: Преобразование рукописных заметок в цифровой формат с анимацией почерка
2 months ago 00:18:48 42
- Архитектурный инсайт
2 months ago 01:33:45 1
БИЗНЕС ИНСАЙТ: Наталья Бланкет. Изменения в законодательстве по налогам с 2025 года
2 months ago 00:10:50 1
Увидела ауру на местах силы, получила инсайты, трансформация жизни, школа космоэнергетики Aurum
2 months ago 00:59:27 1K
Тревоги, тревожность и стресс: как перестают беспокоиться и начинают жить. Лях. Кливакова. ИНСАЙТ
2 months ago 00:45:43 12.5K
Группа БРИКС Готова Бросить Вызов Западному Доминированию: Дедолларизация и Саммит в Казани - CNA Insider |
3 months ago 00:11:59 7
This is why small companies are better than large companies!
3 months ago 00:27:44 14
Пленарная дискуссия «ИТ в рамках мировой трансформации: перспективы и векторы развития в разных отраслях экономики»
3 months ago 01:19:08 1
ПРО ОСОЗНАННОСТЬ,СЕКСУАЛЬНУЮ ЭНЕРГИЮ, ТРАНСФОРМАЦИИ И ИНСАЙТЫ
3 months ago 01:02:45 2
Intro to 3D Graphics - Chris Ryan - NDC Oslo 2024
3 months ago 00:45:25 34
Управление изменениями: сложности, инструменты, инсайты
3 months ago 00:01:06 19
В Ашхабаде завершился инвестиционный форум Туркменистана TIF-2024
4 months ago 03:11:21 3
Ребрендинг Invisible Force “Невидимые силы бизнеса“
4 months ago 00:40:03 8
Impulse-дебаты: Энергия для непрерывных трансформаций | Андрей Железнов, Владимир Волошин, Ярон Фаризон, Евгений Никонов
4 months ago 00:44:47 6
Impulse-дискуссия: Обучение для непрерывных трансформаций | Надежда Макова, Екатерина Барабанова, Александра Жаркова
4 months ago 00:06:18 16
Детоксикация / Вывод из запоя, снятие ломки
4 months ago 01:13:48 1
Китайская коммунистическая партия - разбор документов 2022-2024 [Подкаст]
4 months ago 00:05:56 7
Когнитивная психология мышления #79. Гештальтпсихология мышления, инсайт и эксперименты Келера
4 months ago 00:39:21 1
💯% РЕЗКИЕ ПЕРЕМЕНЫ На Пороге ЛИЧНОЙ ЖИЗНИ!.. Таро прогноз
5 months ago 00:54:25 1
Блокировка нижних чакр| Трансформация сознания | Удовольствие от процесса | Инсайты ч.2