Наша платформа для хранения и обработки больших данных официально стала отечественной разработкой

17 октября 2023 года под номером № 19542 в Единый реестр российских программ для ЭВМ и баз данных включена платформа ITS DPP.

ITS DPP (ITS Data Processing Platform) — это платформа для анализа, хранения и обработки больших данных на базе ПО с открытым исходным кодом. Стек решения включает в себя: Apache Kafka, Apache Spark, Apache Airflow, Apache Hadoop, Greenplum, Apache Superset Redash, Prometheus.

Она будет полезна, если необходимо:

• Построить систему хранения, обработки и анализа данных с нуля.

• Быстро развернуть инфраструктуру для хранения и анализа данных.

• Создать витрины данных, организовать процессы обработки данных, реорганизовать хранение данных.

• Оптимизировать структуру, снизить издержки и избежать при этом ресурсных потерь.

С её помощью дата-инженеры смогут:

• Создать Data Lake или Data Warehouse для хранения структурированных и неструктурированных данных.

• Организовать сбор данных из разнородных источников в единое хранилище

• Настроить ETL/ELT преобразования.

• Организовать проверку качества данных.

• Настроить потоковую и пакетную обработку данных.

• Организовать контроль и доставку кода для обработчиков данных.

• Настроить дашборды с разными уровнями доступа для различных подразделений.

Решение построено по модульному принципу. Модули отвечают за отдельные задачи, такие как сбор, обработка, хранение и преобразование данных. В полной комплектации ITS DPP может обрабатывать данные пакетным или потоковым методом, хранить необработанные, структурированные и неструктурированные данные различного объема, формировать витрины данных. Вместе с платформой поставляется модуль управления и мониторинга отдельных компонентов.

Платформа и отдельные модули продаются как лицензия на срок 1 или 3 года. Техническую поддержку можно приобрести на 1 или 3 года. Лицензия и техническая поддержка приобретаются на каждое физическое ядро сервера или виртуальной машины, на которых развернута платформа или модуль. 

Для развертывания в высокодоступной редакции необходимо от 9 серверов суммарно с 80 ядрами CPU, 396 Гб оперативной памяти и достаточным объемом хранилища данных.

Задать дополнительные вопросы и подробнее почитать о платформе можно на нашем сайте: https://www.itsumma.ru/services/products/its-dpp