Как произвести настройку витрины данных Лайт

Все предварительные действия, необходимые перед установкой витрины, а также рекомендуемые технические характеристики сервера, на котором она будет установлена, описаны в статье Подготовка к установке витрины данных конфигурации Лайт.

Процесс установки и проверка корректной установки витрины описан в статье Установка витрины данных конфигурации Лайт.

Настройка ProStore

Не рекомендуется изменять настройки при первоначальной установке витрины с помощью Ansible. Все необходимые настройки для корректной работы будут сконфигурированы автоматически.

Настройка Сервиса исполнения запросов (query-execution)

1. Настройка ProStore:

• DTM_CORE_PLUGINS_ANALYTICAL - настройка профилей приоритетности СУБД для запросов аналитики;
• DTM_CORE_PLUGINS_DICTIONARY - настройка профилей приоритетности СУБД для запросов ключ-значение;
• DTM_CORE_PLUGINS_UNDEFINED - настройка профилей приоритетности СУБД для не указанной категории запросов;
• DTM_CORE_HTTP_PORT - номер порта, на который Сервис исполнения запросов ожидает входящие запросы от JDBC-драйвера;
• DTM_NAME - имя среды для формирования полного наименования датамартов;
• CORE_TIME_ZONE - настройки временной зоны;
• DTM_CORE_METRICS_ENABLED - настройки генерации метрики Сервиса исполнения запросов;
• DTM_CORE_TASK_POOL_SIZE - максимальный объем пула задач в Cервисе исполнения запросов;
• DTM_CORE_TASK_TIMEOUT - интервал времени завершения задачи, выполняемой в Сервисе исполнения запросов;

2. Оптимизация работы сокета TCP_NODELAY:

• DTM_CORE_HTTP_TCP_NODELAY - настройка режима оптимизации работы сокета TCP_NODELAY;
• DTM_CORE_HTTP_TCP_FAST_OPEN - настройка режима TCP FAST_OPEN;
• DTM_CORE_HTTP_TCP_QUICK_ACK - настройка режима оптимизации работы сокета TCP_QUICKACK;

3. Настройки для EDML операторов:

• EDML_DATASOURCE - тип СУБД-источника;
• EDML_DEFAULT_CHUNK_SIZE – размер chunk по умолчанию;
• EDML_STATUS_CHECK_PERIOD_MS - период проверки статуса плагина в миллисекундах;EDML_FIRST_OFFSET_TIMEOUT_MS - интервал времени ожидания до таймаута в миллисекундах при работе с первым смещением;
• EDML_CHANGE_OFFSET_TIMEOUT_MS - интервал времени ожидания до таймаута в миллисекундах при работе с первым смещением в топике Kafka;

4. Настройка Zookeeper-серверов:

• ZOOKEEPER_DS_ADDRESS - сетевой адрес хоста Zookeeper для служебной БД;
• ZOOKEEPER_DS_CONNECTION_TIMEOUT_MS - интервал времени ожидания (в миллисекундах) соединения с хостом Zookeeper для служебной БД до достижения таймаута;
• ZOOKEEPER_DS_SESSION_TIMEOUT_MS – интервал времени бездействия (в миллисекундах) соединения с хостом Zookeeper для служебной БД до достижения таймаута;
• ZOOKEEPER_DS_CHROOT - корневой путь к хосту Zookeeper для служебной БД;
• ZOOKEEPER_KAFKA_ADDRESS - сетевой адрес хоста Zookeeper для брокера сообщений Kafka;
• ZOOKEEPER_KAFKA_CONNECTION_TIMEOUT_MS - интервал времени ожидания (в миллисекундах) соединения с хостом Zookeeper для брокера сообщений Kafka до достижения таймаута;
• ZOOKEEPER_KAFKA_SESSION_TIMEOUT_MS - интервал времени бездействия (в миллисекундах) соединения с хостом Zookeeper для брокера сообщений Kafka до достижения таймаута;
• ZOOKEEPER_KAFKA_CHROOT - корневой путь к хосту Zookeeper для брокера сообщений Kafka;

5. Настройка Kafka-серверов:

• KAFKA_INPUT_STREAM_TIMEOUT_MS – интервал времени ожидания (в миллисекундах) входного потока данных для брокера сообщений Kafka до достижения таймаута;
• KAFKA_STATUS_EVENT_ENABLED - разрешение на публикацию событий;
• KAFKA_STATUS_EVENT_TOPIC - наименование топика Kafka, в который публикуются события;
• STATUS_MONITOR_URL - сетевой адрес, порт и путь к Сервису мониторинга статусов Kafka;

6. Настройки кэширования запросов:

• CACHE_INITIAL_CAPACITY - начальная емкость кэша;
• CACHE_MAXIMUM_SIZE - максимальный размер кэша;
• CACHE_EXPIRE_AFTER_ACCESS_MINUTES - время (в минутах) устаревания кэша после последнего момента доступа к нему;

Настройка Сервиса мониторинга статусов Kafka (status-monitor)

• STATUS_MONITOR_BROKERS - сетевые адреса и порты брокеров сообщений Kafka, которые отслеживает Сервис мониторинга статусов Kafka.
• STATUS_MONITOR_CONSUMERS - количество потребителей (consumer) Сервиса мониторинга статусов Kafka.

Настройка ПОДД-адаптер

Файл application.yml – основной конфигурационный файл ПОДД-адаптера - Модуль исполнения запросов, в котором задана логика и порядок работы адаптера: получение входящих запросов, их обработка, а также настройка подключения к витрине (секция: dtm), Postgres (секция: adb), подписка на репликацию (секция: subscription), подключение к ИС УВ (секция: client), подключение к Сервису печатных форм (секция: printable-forms-service), настройки логирования (секция: logging), а также другие настройки необходимые для корректной работы ПОДД-адаптера.

Настройка конфигурации ПОДД-адаптера - Модуль исполнения запросов осуществляется путем редактирования параметров настроек в файле application.yml.

В файле конфигурации могут быть настроены следующие секции:

• kafkaUrl - адрес сервера Kafka для Агента ПОДД;
• dtmKafkaUrl - адрес сервера Kafka для ProStore;
• vertx - предназначена для настройки параметров фреймворка Vert.x;
• verticle - настройка количества потоков (verticle) и функций (worker);
• environment - название окружения (test, prod и т.д.);
• cache - настройка кеширования;
• dtm - настройка подключения к серверу и базе данных ProStore;
• adb - настройка подключения к серверу и базе данных Postgres;
• subscription - подписка на репликацию данных;
• client- настройки взаимодействия с ПОДД-адаптера - Модуль исполнения запросов для получения входящих и исходящих запросов;
• http - порт для запуска http-сервера;
• printable-forms-service - настройки подключения к Сервис печатных форм;
• logging - настройка сохранения лог-файла.

Конфигурация модуля ПОДД-адаптер - Модуль MPPR (application.yml)

Файл application.yml – основной конфигурационный файл модуля, в котором задана его логика и порядок работы модуля: получение входящих запросов, их обработка, а также настройка подключения к ядру витрины (секция: prostore), подключение к ИС УВ (секция: client), настройка метрик (секция: metrics), а также другие настройки необходимые для корректной работы адаптера.

Настройка конфигурации ПОДД-адаптер - Модуль MPPR осуществляется путем редактирования параметров настроек в файле application.yml.

В файле конфигурации ПОДД-адаптер - Модуль MPPR могут быть настроены следующие секции:

• kafkaUrl - адрес сервера Kafka для Агента ПОДД;
• prostoreKafkaUrl - адрес сервера Kafka для ядра витрины ProStore;
• vertx - предназначена для настройки параметров фреймворка Vert.x (подробнее на сайте разработчиков: https://vertx.io/docs/);
• cache - настройка кеширования;
• query - определяет настройки обработки запроса MPP (количество разделов partition топика Kafka);
• verticle - настройка количества потоков (verticle) и функций (worker);
• environment - название окружения (test, prod и т.д.);
• zookeeper - настройка подключения к серверу Zookeeper, Агента ПОДД;
• prostore - настройка подключения к серверу и базе данных ProStore;
• client- настройки взаимодействия с ПОДД-адаптер для получения входящих и исходящих запросов;
• metrics - настройка получения метрик.

Конфигурация модуля ПОДД-адаптер - Модуль MPPW (application.yml)

Файл application.yml – основной конфигурационный файл модуля, в котором задана его логика и порядок работы модуля: подключение к Агенту ПОДД, Брокеру сообщений Kafka, Zookeeper, а также настройка подключения к Prostore (секция: prostore), порядок обработки mppw-запросов между Получателем и Поставщиком данных (секция: mppw), настройка метрик (секция: metrics) и другие настройки необходимые для корректной работы ПОДД-адаптера.

Настройка конфигурации ПОДД-адаптер - Модуль MPPW осуществляется путем редактирования параметров настроек в файле application.yml.

В файле конфигурации ПОДД-адаптер - Модуль MPPW могут быть настроены следующие секции:

• kafkaUrl - адрес сервера Kafka для Агента ПОДД;
• prostoreKafkaUrl - адрес сервера Брокера сообщений Kafka компонента ProStore;
• prostoreZkKafkaUrl - адрес сервера Zookeeper компонента ProStore
• vertx-kafka - секция предназначена для настройки параметров взаимодействия с Брокером сообщений Kafka;
• metrics - настройка получения метрик.

Настройка CSV-uploader

Файл application.yml – основной конфигурационный файл CSV-uploader, в котором задана логика и порядок работы загрузчика, а также другие настройки необходимые для корректной работы.

Настройка конфигурации CSV-uploader осуществляется путем редактирования параметров настроек в файле application.yml. Некоторые настройки доступны для редактирования через пользовательский интерфейс модуля, например, Настройка отображения количества записей в Журнале операций и Запуск по расписанию.

Настройка взаимодействия витрины с Агентом ПОДД

После установки витрины и Агента ПОДД, необходимо настроить их взаимодействие между собой. Для этого:

1.     Настройте Агента ПОДД и ПОДД-адаптер на работу с одним и тем же брокером сообщения Kafka:

• Если вместе с Агентом ПОДД устанавливается брокер сообщений Kafka, а Агент ПОДД преднастроен на работу именно с этим экземпляром брокера сообщений, то укажите адрес этого брокера сообщений в конфигурационном файле ПОДД-адаптера (application.yml), параметр kafkaUrl.
• Если вместе с Агентом ПОДД не устанавливается брокер сообщений Kafka, то в Агенте ПОДД согласно его документации настройте работу с брокером сообщений Kafka, установленным с витриной. Для этого используйте адрес сервера Kafka из конфигурационного файла ПОДД-адаптера (application.yml), параметр kafkaUrl.

2.     Настройте названия топиков (см. в таблице ниже) для обмена сообщениями в конфигурационном файле ПОДД-адаптера (application.yml).

Название топиков для обмена сообщениями между ПОДД-адаптером и Агентом ПОДД: