Типовое ПО витрина данных поставляется в двух дистрибутивах: Лайт и Стандарт, дополнительно можно установить отказоустойчивую конфигурацию Медиум. Данные дистрибутивы позволяют создать различные виды конфигураций, приведем некоторые из них.
Конфигурация Лайт – позволяет создать небольшую витрину для тестов и работы с простыми регламентированными запросами.
Конфигурация Медиум – позволяет создать витрину способную покрыть большинство сценариев использования и имеет отказоустойчивую Kafka и PostgreSQL. Конфигурацию витрины Медиум можно собрать из дистрибутива Стандарт с помощью Руководства по установке конфигурации Медиум.
Конфигурация Стандарт – позволяет создать витрину покрывающую максимально возможное количество сценариев использования.
Пожалуйста, посмотрите короткое видео или ознакомьтесь с текстом ниже.
Для определения необходимого вам дистрибутива можно ознакомиться с рекомендуемыми ниже конфигурациями и сравнением их производительности в Таблице 3 при использовании легких запросов типа:
SELECT s.store_id, SUM(s.product_units) AS product_amount FROM marketing.sales AS s GROUP BY (s.store_id) ORDER BY product_amount DESC |
Рекомендации основаны на использовании витрины в режиме стандартной рабочей нагрузки на тестовом стенде.
Таблица 1. Рекомендуемые системные требования для витрины данных Лайт.
Номер сервера |
Модуль |
Ресурсы на 1 сервер |
||
CPU |
RAM.ГБ |
Data storage.ТБ* |
||
Сервер 1 |
PostgreSQL, Kafka + ZooKeeper, Ядро Prostore, Адаптер ПОДД |
16 |
64 |
0.5 |
Сервер 2 |
Агент ПОДД |
8 |
12 |
0.05 |
Сервер 3 |
Мониторинг / журналирование |
8 |
12 |
0.4 |
Итого контур |
32 |
88 |
0.95 |
* - рекомендуется использовать SSD-диски.
Таблица 2. Рекомендуемые системные требования для витрины данных Медиум.
Номер сервера |
Модуль |
Ресурсы на 1 сервер |
||
CPU |
RAM.ГБ |
Data storage.ТБ * |
||
Сервер 1 |
PostgreSQL |
10 |
48 |
0.75 |
Сервер 2 |
PostgreSQL |
10 |
48 |
0.75 |
Сервер 3 |
Kafka + ZooKeeper |
6 |
12 |
0.2 |
Сервер 4 |
Kafka + ZooKeeper |
6 |
12 |
0.2 |
Сервер 5 |
Kafka + ZooKeeper |
6 |
12 |
0.2 |
Сервер 6 |
Ядро Prostore |
6 |
12 |
0.1 |
Сервер 7 |
Адаптер ПОДД |
6 |
12 |
0.1 |
Сервер 8 |
Агент ПОДД |
6 |
12 |
0.05 |
Сервер 9 |
Мониторинг / журналирование |
8 |
12 |
0.3 |
Итого контур |
64 |
180 |
2.65 |
* - рекомендуется использовать SSD-диски, производительностью >= 3000 IOPS
HDDSSD 1.9 Тб.
Рекомендуемые системные требования для витрины данных Стандарт указаны в статье Инфраструктура для внедрения витрины данных.
Таблица 3 – Максимальная производительность при рекомендуемых серверных параметрах
Конфигурация |
Объем, Гб |
РПС |
Время обработки запроса |
Отказоустойчивая Kafka |
Отказоустойчивый PostgreSQL |
Лайт |
0 - 500 |
< 400 |
От 150 до 200 мс |
Нет |
Нет |
Медиум |
До 1000 |
400 |
Меньше 150 мс |
Да |
Да |
Стандарт |
Без ограничений |
500 и более |
Меньше 150 мс |
Да |
Опционально |
Типовое ПО витрина данных конфигурации установки Лайт версии 1.3.0. тестировалось на объемах от 50 до 500 Гб и показало результаты ~400 РПС, при среднем времени обработки запроса меньше 200 мс. Для большей производительности рекомендуется использовать витрину данных конфигурации установки Стандарт. Для отказоустойчивой конфигурации Kafka и PostgreSQL рекомендуется использовать витрину конфигурации установки Медиум.
Сравнение компонентов витрин данных конфигураций установок Лайт 1.7.0. и Стандарт 1.3.0. (Таблица 4)Таблица 4. Сравнение компонентов витрины в стандартных поставках (любая версия витрины может быть расширена дополнительными модулями).
С подробным описанием каждого компонента Витрины данных вы можете ознакомиться в статье Что такое Витрина данных Стандарт и в Руководстве администратора типового ПО Витрина данных Стандарт.