митрий Румянцев, SRE-инженер в отделе «Центр Развития Архитектуры и Эксплуатации», ГК ОТР
Доклад о переработке Legacy-приложения на микросервисы с потоковой обработкой данных, а также настройке стриминга данных в систему очередей Kafka.
Cодержание:
00:00 Приветствие
01:17 Кратко о проекте о масштабах продукта
01:59 Сервис версии 1.0
02:31 Проблемы версии 1.0
04:21 Цели
06:10 DEBEZIUM
07:28 KAFKA KAFKA-connekt
09:32 Обработка данных: xstream-Fyfkju ckjjd d Pitgresql
10:51 Logminer
12:12 Проблема полей с названием 30 символов
13:12 Ставим триггер на измененения
13:51 Триггеры-Зло
15:23 TOPIC ROUTING
17:03 Работа с CLOB/BYTEA Полями
17:41 Сериализация данных
18:58 Какие объемы срабатывают?
19:50 Многопоточная обработка данных
24:44 Пиковая нагрузка
26:33 Перенос базы
Telegram-канал Митап DevOps:
1 view
2831
927
2 weeks ago 00:34:38 174
Надежная отправка событий в Apache Kafka: от CDC до Transactional Outbox — Алексей Кашин, Т-Банк
1 month ago 00:46:46 95
Алексей Кашин — Надежно отправляем события в Apache Kafka. От CDC до паттерна Transactional Outbox
2 months ago 00:37:48 90
CDC в банке: от источника до хранилища
3 months ago 00:37:53 62
Иван Клименко — CDC от источника до хранилища: как в банке Синара построили CDC с применением продуктов Arenadata
4 months ago 00:31:10 7
05 - Design Scalable News Feed System Similar to Instagram, Facebook Twitter | System Design
4 months ago 00:44:56 87
Основы near-real-time streaming: Kafka + CDC
1 year ago 00:43:06 1
Андрей Серебрянский — Грузим в Kafka из базы: с CDC и без
1 year ago 00:46:03 3
Денис Шелемех — Перевод отчетов международной компании с Oracle на современный Big Data стек
3 years ago 00:32:59 77
Kafka CDC – обработка данных в реальном времени.
4 years ago 00:06:43 4
Real-Time ETL (ELT) with Kafka connect; change data capture from mysql to sql server.
4 years ago 01:10:53 3.2K
Gunnar Morling — Change data capture pipelines with Debezium and Kafka Streams
5 years ago 00:59:40 7.8K
Gunnar Morling - Practical change data streaming use cases with Apache Kafka and Debezium