Где мои дети — Как мы осуществляли масштабирование, учитывая изменяющуюся нагрузку от пользователей
Занимаются тем, что отслеживают положение детей по данным с “умных” наручных часов и смартфонов, и предоставляют родителям возможность просматривать местоположение и связываться с детьми.
Какие были задачи?
Заказчик обратился к нам с проблемами со стабильностью работы существующей платформы и нехваткой производительности для возросшего потока клиентов. Отмечалась необходимость реализации возможности масштабирования ввиду плавающей нагрузки со стороны пользователей.
Наше решение
После анализа потока данных, характера нагрузки и моделей работы с данными мы сделали ТЗ на новую инфраструктуру на базе платформы обработки данных ITS DPP с дополнительным модулем, обеспечивающим поддержку PostGis.
Результат
В ходе выполнения ТЗ была развернута платформа ITS DPP с функциональностью быстрого масштабирования. Инженеры ITSumma настроили CI/CD пайплайны для быстрой доставки изменений в ETL обработчики данных. После этого в ходе совместной работы была выполнена адаптация уже существующих пайплайнов данных под платформу.
Используемый стек ПО включал в себя Apache Kafka, Apache Spark, Greenplum, ClickHouse.
Были использованы модули ETL, MPP DB и Analytics DB из состава платформы ITS DPP.
