Установка витрины лайт или как быстро стартануть витрину

Перед началом процесса установки Витрины данных Лайт мы рекомендуем выполнить следующие подготовительные шаги:

  1.   Подготовка серверной инфраструктуры

Перед установкой обязательно выполните подготовку сервера, руководствуясь инструкцией: "Какие действия необходимо выполнить перед установкой витрины данных Лайт". 

В статье рассматриваются:

• Требования к аппаратному обеспечению;
• Необходимые настройки ОС;
• Предварительная установка зависимостей;
• Настройка сетевых параметров;
• Рекомендации по безопасности.

  2.   Ознакомление с особенностями конфигурации

Для понимания возможностей, ограничений системы и выбора подходящей конфигурации, изучите статьи: 

          1)     "Что такое Витрина данных конфигурации установки Лайт", где подробно описаны:

• Основные характеристики и возможности данной конфигурации;
• Технические требования и ограничения;
• Типовые сценарии использования.

          2)     "Выбор конфигурации установки Типового ПО Витрины данных", которое поможет:

• Сравнить различные варианты поставки ПО;
• Определить необходимую аппаратную конфигурацию;
• Подобрать решение, максимально соответствующее вашим задачам.

  Важно!

 Пропуск этапа подготовки может привести к проблемам при установке и дальнейшей эксплуатации системы. Убедитесь, что все предварительные требования выполнены

Настройка конфигурационного файла

Для успешного запуска процесса установки витрины с помощью Ansible необходимо тщательно настроить конфигурационный файл. Этот этап является критически важным для корректной работы всей системы. Для этого выполните следующие действия:

  1.   Переименовать файл custom.example.yml расположенный в папке ansible/group_vars/ в custom.yml. Для этого выполните команду:

cp -n ansible/group_vars/custom.example.yml ansible/group_vars/custom.yml

  2.   В файле custom.yml указать корректные значения для следующих переменных:

• time_zone - укажите TimeZone, которая будет установлена по умолчанию в контейнерах. Например:

time_zone: Europe/Moscow

• server_ip - адреса сервера. Укажите IP-адрес сервера, на который будет установлена витрина. Например:

server_ip: "172.16.10.59"

• server_user_name - имя пользователя операционной системы. Укажите имя пользователя операционной системы сервера, под которым будет производиться установка витрины, например:

server_user_name: datamart

• podd_kafka - укажите IP адрес kafka для связи с агентом СМЭВ4. Например:

podd_kafka: " kafka:9092"

• podd_zookeeper - укажите IP адрес zookeeper для связи с агентом СМЭВ4. Например:

podd_zookeeper: "zookeeper:2181"

• podd_kafka_topic_prefix - префикс перед именем топиков для агента СМЭВ4. Укажите мнемонику витрины. Например:

podd_kafka_topic_prefix: "user_prefix."

  Примечание

 Следует обязательно ставить символ . (точка) после определения параметра префикса!

Установка витрины

Для установки витрины выполните команду:

docker-ansible-cmd ansible-playbook -i hosts install.yml

Начнется процесс установки витрины. При успешной установке параметр failed должен иметь значение – 0.

Рисунок 1 – Успешная установка витрины

Это значит, что все компоненты витрины установлены, а необходимые взаимосвязи между ними настроены корректно.
После установки витрины следует провести ее проверку.

Проверка витрины

Для проверки установки витрины следует выполнить следующие действия:

  1.   Открыть в браузере web-интерфейс Portainer для управления docker-контейнерами по адресу:

IP:9000

где:

• IP – адрес сервера;
• 9000 – порт сервера.

  2.   Ввести логин и пароль администратора Portainer. По умолчанию – admin/LongPassword.

  3.   Нажать значок Get Started, чтобы определить и автоматически настроить локальную среду.

  4.   Нажать на главной странице ссылку local.

  5.   Нажать значок Containers.

  6.   Просмотреть в разделе Container list наличие следующих docker-контейнеров:

Рисунок 2 – Portainer. Состав docker-контейнеров

Состав докер-контейнеров в Portainer на примере витрины данных конфигурации установки Лайт:

Наименование компонента	Функциональное назначение
csv-uploader	Интерфейс создания структуры витрины и загрузки данных
elasticsearch	Сервис полнотекстового поиска, аналитики и хранения логов
filebeat	Легковесный клиент для сбора и передачи логов в Greylog
grafana	Аналитика и интерактивная визуализация мониторинга
graylog	Сбор и передача журналов событий (логов) для Elasticsearch
kafka	Распределённая система обмена сообщениями (брокер)
kafka-postgres-reader	Коннектор для чтения между Kafka и СУБД PostgreSQL
kafka-postgres-writer	Коннектор для записи между Kafka и СУБД PostgreSQL
mongo	Сервисная, документо-ориентированная CУБД для Greylog
node_exporter	Сервис экспорта системных метрик (процессор, память, и т.д.)
podd-adapter-mppr	Адаптер СМЭВ4 (ПОДД) для связи ядра витрины с Агентом СМЭВ4
podd-adapter-mppw	Адаптер СМЭВ4 (ПОДД) для связи ядра витрины с Агентом СМЭВ4
podd-adapter-query	Адаптер СМЭВ4 (ПОДД) для связи ядра витрины с Агентом СМЭВ4
portainer	Система управления контейнеризованными сервисами
postgres	Объектно-реляционная СУБД для хранения данных витрины
prometheus	База данных временных рядов для мониторинга среды
query-execution	Сервис исполнения запросов ProStore
status-monitor	Версия 6.6 (04.10.2023)
zookeeper	Централизованная служба управления конфигурацией

  Примечания

     –   С версии Витрины данных 1.12.0 функции сервиса мониторинга статусов Kafka (status-monitor) включены в состав сервиса исполнения запросов (query-execution) и не поставляется как отдельный компонент;     
     –   С версии Витрины данных 1.11.0 добавлен в комплект поставки компонент kafka-jet-writer – вспомогательная служба основного сервиса Prostore dtm-query-execution-core, которая взаимодействует с соответствующей СУБД.

  7.   Подключиться к программе по ssh и выполнить запрос:

curl -X POST -H "Content-Type: application/json" -d '{"requestId": "797de19a-54e2-4c9c-af6e-a9ee312230b5","datamartMnemonic": "base01","sql": "CHECK_VERSIONS()"}' http://0.0.0.0:9090/query/execute

Пример успешного ответа:

Рисунок 3 – Проверка работы программы

  8.   Подключиться к Grafana.

Для этого следует перейти по адресу: http://{host}:3000 и выполнить авторизацию: логин: admin, пароль: admin (указаны значения по умолчанию).

Проверить, что показатели Healthcheck Leaviness и Readiness (дашборд Lite) работают (индикатор зеленого цвета).

  9.   Просмотреть лог-файл установки (ansible/ansible.log). Лог-файл не должен содержать записей с ошибками установки. 

Запуск и остановка витрины

Витрина не имеет графического интерфейса. При необходимости любой из сервисов/модулей можно остановить и запустить заново.

Для ручной остановки и запуска необходимо подключиться по ssh на сервер и с правами sudo использовать штатный функционал systemctl.

Например:

sudo systemctl stop query-execution sudo systemctl start query-execution sudo systemctl stop podd-adapter-query sudo systemctl start podd-adapter-query

Следующие шаги после установки

После успешного развертывания и первичной проверки работоспособности Витрины данных Лайт рекомендуем ознакомиться со статьей – Как произвести настройку витрины данных Лайт для детальной конфигурации системы под ваши задачи.