Алексей Меркулов | Микрооптимизации парсинга в промышленных масштабах

Data Fest Online 2021 Data Collection track Архитектура парсинга в промышленных масштабах. Парсинг нужно делить на разные итерации задач, а именно, краулинг, временное хранение данных (очереди, кафка), обработка данных, запись данных, прокси, контейнеры. Объясню, почему я считаю важным разделение каждой задачи на отдельные этапы и как это все между собой связывать, как подбирать инструменты и языки под исполнения каждой задачи. Посмотреть эфир и список треков и организаторов: Зарегистрироваться на фест и получить доступ к трекам: Вступить в сообщество: Соцсети Data Fest: