Выбор конфигурации установки Типового ПО Витрины данных

Типовое программное обеспечение (ПО) "Витрина данных" поставляется в двух основных конфигурациях: Лайт и Стандарт. Дополнительно доступна возможность установки отказоустойчивой конфигурации Медиум, которая может быть собрана на основе дистрибутива Стандарт. Эти дистрибутивы позволяют развернуть различные конфигурации витрины данных, каждая из которых ориентирована на определенные сценарии использования. Рассмотрим основные варианты конфигураций, которые могут быть развернуты как на стороне Поставщика, так и Потребителя:

1. Конфигурация Лайт

Предназначена для создания небольшой витрины данных, которая подходит для тестирования и работы с простыми регламентированными запросами. Это оптимальный выбор для задач с минимальными требованиями к производительности и объемам данных.

2. Конфигурация Медиум

Позволяет развернуть витрину данных, способную покрыть большинство сценариев использования. Эта конфигурация обеспечивает отказоустойчивость за счет использования резервируемых компонентов, таких как Kafka и PostgreSQL. Конфигурация Медиум может быть собрана из дистрибутива Стандарт с помощью Руководства по установке.

3. Конфигурация Стандарт

Предназначена для создания витрины данных, которая охватывает максимально возможное количество сценариев использования. Это решение подходит для задач с высокими требованиями к производительности, объемам данных и функциональности.

Любая из перечисленных конфигураций может быть расширена дополнительными модулями в зависимости от конкретных требований потребителя.

Критерии выбора конфигурации

Для выбора подходящей конфигурации и установки типового ПО "Витрина данных" необходимо определить целевые характеристики витрины, исходя из требований услуги и клиентского пути, который она будет обеспечивать. Основные параметры для анализа включают:

1. Объем данных для размещения на витрине

Определите, какой объем данных будет храниться и обрабатываться на витрине. Это влияет на выбор конфигурации и необходимые ресурсы.

2. Производительность витрины

Оцените требуемое количество запросов в секунду, которое должна обрабатывать витрина. Это ключевой параметр для выбора между конфигурациями Лайт, Медиум и Стандарт.

3. Время обработки запроса

Уточните требования к среднему и максимальному времени обработки запросов. Это важно для обеспечения соответствия сервисным уровням (SLA).

4. Требования к отказоустойчивости и резервированию данных

5. Поддерживаемая функциональность

Определите, какая функциональность должна быть обеспечена. Дистрибутив Лайт включает только основные компоненты витрины данных и не содержит такие модули, как Сервис Печатных форм, Модуль-подписок, BLOB-adapter и другие. С полным составом дистрибутивов можно ознакомиться в официальной документации, распространяемой вместе с дистрибутивами.

Если система должна быть отказоустойчивой, рекомендуется использовать конфигурацию Медиум, которая обеспечивает резервирование критических компонентов, таких как Kafka и PostgreSQL.

Рекомендации по выбору дистрибутива

Для определения подходящего дистрибутива можно ознакомиться с рекомендуемыми конфигурациями и сравнением их производительности в Таблице 3 при использовании легких запросов типа:

SELECT s.store_id, SUM(s.product_units) AS product_amount FROM marketing.sales AS s GROUP BY (s.store_id) ORDER BY product_amount DESC

Рекомендации основаны на использовании витрины в режиме стандартной рабочей нагрузки на тестовом стенде.

Таблица 1. Рекомендуемые системные требования для витрины данных Лайт.

Номер сервера	Модуль	Ресурсы на 1 сервер
		CPU	RAM.ГБ	Data storage.ТБ*
Сервер 1	PostgreSQL, Kafka + ZooKeeper, Ядро Prostore, Адаптер ПОДД	16	64	0.5
Сервер 2	Агент ПОДД	8	12	0.05
Сервер 3	Мониторинг / журналирование	8	12	0.4
Итого контур		32	88	0.95

* - рекомендуется использовать SSD-диски.

Таблица 2. Рекомендуемые системные требования для витрины данных Медиум.

Номер сервера	Модуль	Ресурсы на 1 сервер
		CPU	RAM.ГБ	Data storage.ТБ *
Сервер 1	PostgreSQL	10	48	0.75
Сервер 2	PostgreSQL	10	48	0.75
Сервер 3	Kafka + ZooKeeper	6	12	0.2
Сервер 4	Kafka + ZooKeeper	6	12	0.2
Сервер 5	Kafka + ZooKeeper	6	12	0.2
Сервер 6	Ядро Prostore	6	12	0.1
Сервер 7	Адаптер ПОДД	6	12	0.1
Сервер 8	Агент ПОДД	6	12	0.05
Сервер 9	Мониторинг / журналирование	8	12	0.3
Итого контур		64	180	2.65

* - рекомендуется использовать SSD-диски, производительностью >= 3000 IOPS

HDDSSD 1.9 Тб.

Рекомендуемые системные требования для витрины данных Стандарт указаны в статье Инфраструктура для внедрения витрины данных.

Таблица 3 – Максимальная производительность при рекомендуемых серверных параметрах

Конфигурация	Объем, Гб	RPS  (requests per second)	Время обработки запроса	Отказоустойчивая Kafka	Отказоустойчивый PostgreSQL
Лайт	0 - 500	< 400	От 150 до 200 мс	Нет	Нет
Медиум	До 1000	400	Меньше 150 мс	Да	Да
Стандарт	Без ограничений	500 и более	Меньше 150 мс	Да	Опционально

Типовое ПО витрина данных конфигурации установки Лайт версии 1.3.0. тестировалось на объемах от 50 до 500 Гб и показало результаты ~400 РПС, при среднем времени обработки запроса меньше 200 мс. Для большей производительности рекомендуется использовать витрину данных конфигурации установки Стандарт. Для отказоустойчивой конфигурации Kafka и PostgreSQL рекомендуется использовать витрину конфигурации установки Медиум.

Сравнение компонентов витрин данных конфигураций установок Лайт 1.7.0. и Стандарт 1.3.0. (Таблица 4)

Таблица 4. Сравнение компонентов витрины в стандартных поставках (любая версия витрины может быть расширена дополнительными модулями).

С подробным описанием каждого компонента Витрины данных вы можете ознакомиться в Руководстве администратора типового ПО Витрина данных Стандарт.

Дополнительно рекомендовано при расчете нагрузок и выборе подходящей конфигурации витрины данных, всегда иметь ввиду некий запас производительности, например, при росте активности, незапланированной регистрации в качестве поставщика данных, увеличении количества потребителей, росте количества и качества регламентированных запросов или внутренних аналитических отчетов и не приходилось в ускоренном режиме пересертифицировать систему. Так же важно принять во внимание, что можно и в процессе работы масштабировать отдельные компоненты, работающие в пиковых нагрузках, но каждое внезапное укрупнение неизбежно приводит к рискам связанными с продолжительными простоями в работе, недоступности услуг и нарушению возможных SLA.