Рене ван Беверн. Потоковые алгоритмы: границы возможного

Потоковые алгоритмы применяются для анализа данных, чьи объёмы не позволяют хранить их. Они анализируются только на лету, одним проходом. Такие объёмы данных регулярно возникают в результате научных экспериментов, в анализе сетового трафика или анализе событий в социальных сетях. Элементарные задачи превращаются в непосильные. Возьмём, например, следующий вопрос: какой самый запрашиваемый IP-адрес? Ведение учёта посещаемости IP-адресов для точного ответа на этот вопрос легко потребует сотни гигабайтов памяти. Математические трюки ползволяют вести приближённый учёт в нескольких мегабайтах памяти, можно сказать, они позвольяют ужать сотни гигабайтов в объём одной дискеты. Но где границы этих математических трюков? Сколько памяти необходимо для решения той или иной задачи с заданной точностью и вероятностью ошибки? Как доказываются такие нижние оценки? Об этом мы поговорим на этой лекции. Презентация: Codefest: