Database Internals Meetup #8 (офлайн + онлайн): Автофейловер и данные в двух датацентрах и Алгоритмы для непрерывной обработки запросов
Трансляция:
- YouTube:
- VK:
Приглашаем вас на восьмой митап сообщества Database Internals. В программе два доклада от разработчиков из компании VK Tech и руководителя направления больших данных Исследовательского института Ломоносова.
Мероприятие пройдет офлайн в офисе VK Tech по адресу г. Москва, Ленинградский пр-т, д. 70, БЦ "Алкон", вход "Север", этаж 3, конференц-зал.
Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.
Мероприятие бесплатное. Регистрация обязательна. При очном участии обязательно наличие паспорта. Количество мест ограничено.
Трансляция мероприятия организована нашими друзьями из компании VK Tech.
Программа
19:00 – 20:00 Автофейловер и данные в двух датацентрах. Александр Туренко и Георгий Белянин, разработчики VK Tech
20:00 – 20:10 Перерыв
20:10 – 21:10 Алгоритмы для непрерывной обработки запросов. Рене ван Беверн, руководитель направления больших данных, Исследовательский институт Ломоносова
Доклады
Автофейловер и данные в двух датацентрах
Александр Туренко и Георгий Белянин, разработчики VK Tech
Широко известен алгоритм RAFT, в котором главный узел выбирается голосованием внутри кластера. Для RAFT’а надо минимум три ЦОДа, это довольно затратно. В докладе рассматривается подход с внешним арбитром и СУБД в двух ЦОДах. Расскажем про разные аварии, нюансы распределенных блокировок а-ля redlock, про fencing tokens, двухфазные вызовы, плюсы и минусы внешнего состояния, особенности разбора проблем и подходы к усилению мощности тестирования.
Алгоритмы для непрерывной обработки запросов
Рене ван Беверн, руководитель направления больших данных, эксперт по обработке больших данных в реальном времени, Исследовательский институт Ломоносова
Непрерывная обработка запросов позволяет проводить анализ потоков данных в реальном времени, но создает алгоритмические проблемы из-за неограниченного объема данных, строгих ограничений по задержке и непредсказуемой динамики потоков. В этом докладе рассматриваются основные алгоритмические методы, лежащие в основе современных систем анализа потоковых данных, таких как Apache Flink, включая эффективные агрегации над окнами, инкрементальные вычисления, управление состоянием, отказоустойчивость, приближённую и адаптивную обработку запросов.
Полезные ссылки
- Telegram-чат сообщества: https://t.me/databaseinternalschat
- Анонсы предстоящий событий: https://databaseinternals.timepad.r...