Высокопроизводительная агрегация временных рядов для PostgreSQL

Tantor PipelineDB

Расширение для СУБД Tantor или PostgreSQL с открытым исходным кодом для непрерывного выполнения SQL-запросов на потоках данных с инкрементальным сохранением результатов в таблицах

Скачать

Документация

Потоковые данные агрегируются и фильтруются, объединяются в сводные данные в реальном времени с помощью непрерывных SQL-запросов. Результаты сохраняются в Tantor PipelineDB.

Непрерывная агрегация

Для аналитики потоковых данных часто требуется контекст. Интегрированный реляционный механизм хранения Tantor PipelineDB позволяет соединять потоковые данные с историческими для сопоставления в режиме реального времени.

Объединение потоков c таблицами

Можно запускать непрерывные запросы с заданными временными интервалами: секунда, минута, день, 30 дней и т. д. Такие запросы сохраняются в Tantor PipelineDB, а «сырые» данные вне заданных интервалов могут опускаться.

Запросы с заданными интервалами

В real-time аналитике допустимы компромиссы с точностью ради скорости. Tantor PipelineDB поддерживает структуры и алгоритмы для приближенных вычислений на потоках: фильтры Блума, count-min sketch, Filtered-Space-Saving top-k, HyperLogLog, and t-digest.

Вероятностные структуры данных

Tantor PipelineDB позволяет обрабатывать данные в реальном времени, используя только SQL. Сложность вычислений на потоках данных берут на себя планировщик выполнения непрерывных запросов и механизм их исполнения.

Tantor PipelineDB устраняет слой ETL. Данные запросов передаются напрямую в базу и непрерывно обрабатываются согласно выставленным SQL-запросам. Размер БД по мере поступления новых данных остается неизменным.

Tantor PipelineDB — стандартное расширение для СУБД Tantor и PostgreSQL. Для высокопроизводительных потоковых рабочих нагрузок используются все возможности этих СУБД.

Без прикладного кода

Без ETL

На СУБД Tantor и PostgreSQL

Как работает Tantor PipelineDB

Примеры использования

Tantor PipelineDB подходит для любых приложений, собирающих аналитику в режиме реального времени, если запросы известны заранее и их можно реализовать на SQL.