Компоненты, необходимые для внедрения витрины данных, которые не входят в состав Типового ПО Стандарт и Лайт

Для повышения эффективности работоспособности и функционирования витрин данных, а также с целью максимального упрощения и автоматизации процесса внедрения как комплекса витрин данных, так и отдельных компонентов могут быть использованы существующие на рынке специализированные приложения и утилиты.

Программные продукты, которые могут помочь в создании витрин:

Системы автоматизации Ansible – зарубежные системы автоматизации действий администратора, например AWX (https://www.ansible.com/products/awx-project/faq). Основные возможности AWX:

• Интеграция с системами контроля версий (git/mercurial/subversion);
• Отслеживание статуса выполнения плейбуков в реальном времени;
• Настройка расписания для автоматического запуска плейбуков;
• Выполнение нескольких плейбуков в рамках одного workflow;
• Удаленное выполнение команд без плейбуков (Ansible ad hoc);
• Поддержка механизма callbackов, позволяющих новым серверам запрашивать конфигурации со своей стороны;
• Управление Inventory для ансибла, в том числе с возможностью интеграции с платформами AWS/Azure/OpenStack и т.д., а также поддержка собственных скриптов для генерации Dynamic Inventory;
• Гибкая система разграничения прав доступа. Интеграция с LDAP/SAML/Active Directory и т.д.;
• Встроенная поддержка уведомлений для Email/Slack/PagerDuty/HipChat/MatterMost/IRC;
• Интеграция с внешними системами агрегации логов: Logstash/Splunk/Loggly/Sumologic.

Datamart Studio Orchestrator – Российский программный продукт (входит в Реестр Российского ПО https://reestr.digital.gov.ru/request/565565/?sphrase_id=2036801) для управления компонентами комплексных информационных систем в процессе установки, внедрения и сопровождения.

Программа оркестрации компонентов витрин данных Datamart Studio представляет собой веб-приложение, предназначенное для установки и настройки витрин данных и комплексов различных СУБД, с целью упрощения процессов и минимизации затрат на создание и сопровождение комплексных систем управления данными. 

Архитектурно – это многокомпонентное решение, объединяющее основное приложение с визуальным интерфейсом; SQL и in-memory хранилища для задач хранения мета-данных, кэширования и очередей; контейнер с фоновыми обработчиками, обеспечивающими выполнение асинхронных задач; git-репозиторий для хранения версий профилей витрин данных и их настроек, а также в зависимости от потребности решения - набор специализированных СУБД.

Функциональные возможности:

• Авторизация пользователя;
• Подключение внешних репозиториев с бандлами для установки компонентов и их исполнение;
• Мониторинг компонентов ПО (в частности Витрин данных);
• Управление несколькими инстансами в одном окне (в частности Витрин данных);
• Настройка компонентов ПО через веб-интерфейс;
• Повторное использование сформированных конфигураций компонентов ПО (в частности Витрин данных).

Преимущества использования:

• Возможность использования оффлайн или онлайн;
• Возможность осуществления эксплуатационных работ без доступа к данным;
• Логирование действий администраторов, выполняемых через Datamart Studio;
• Снепшот всех значимых параметров и логов ПО (в частности Витрин данных) для обращения в поддержку;
• Консистентное применение рекомендованных вендором или интегратором.

JMeter – приложение, предназначенное для тестирования функционального поведения и измерения производительности.

VisualVM – мониторинг Java-приложений. Это визуальный инструмент, объединяющий инструменты командной строки JDK и облегченные возможности профилирования.