Архитектура ВКонтакте: прошлое, настоящее и будущее / Илья Щербак (ВКонтакте)

Конференция VK JT (6 марта 2024, «ГЭС-2»), трек «Архитектура & Highload». Илья Щербак, ВКонтакте. Начал карьеру ВКонтакте в 2018 году старшим разработчиком видеостриминга. С того времени участвовал в разных крупных проектах: в переходе на «единое видео», переходе на базы данных для поиска по сходству в векторных пространствах, на окружение рекомендательных систем и ранжирование видео в ленте. Под его руководством команда Core Infrastructure запустила распознавание аудиосообщений и перевод в текст, первой в России внедрила в работу QUIC-протокол, а также разработала систему, собирающую более 1 млрд метрик в секунду с 20 000 машин. Возглавлял команды баз данных и инфраструктуры, а сейчас — глава департамента. Один из самых крупных проектов команды — система репликации и автоматического управления составом кластера BARSiC, позволяющая нивелировать выход сервера базы данных из строя. Она стала основой научной лаборатории для студентов ИТМО. «Как устроены базы данных ВКонтакте, которые хранят пользовательский контент? Каким аспектам уделяется особое внимание при разработке и как обеспечивается масштабирование? Предпродакшен-тестирование, модел-чекинг и уверенность в том, что написанный консенсус работает. Обсудим темы хранения распределённых систем и того, как осуществляется репликация и управление составом кластера для всех 70 баз данных ВКонтакте».