Создание витрины и РЗ из шаблона

В условиях работы с большими объемами данных эффективное управление информацией становится критически важным. Витрины данных (ВД) упрощают доступ к структурированным данным, но их создание с нуля требует значительных усилий и времени. Шаблоны Витрин данных решают эту проблему, предлагая готовые решения, которые можно адаптировать под конкретные задачи.

В системе ЕИП НСУД использование шаблонов позволяет быстро создать Витрину с нуля и зарегистрировать ее, минимизируя ошибки и соблюдая стандарты. Аналогично на основе шаблонов можно создать регламентированные запросы (РЗ), которые будут использоваться Потребителями для получения данных из Витрины.

Создание Витрин данных по шаблону позволяет сократить время, требуемое для создания множества однотипных Витрин и их последующего обновления.

В качестве шаблона используются ВД и РЗ, зарегистрированные в ЕИП НСУД как тиражируемые. Для таких ВД добавление и редактирование таблиц и атрибутов Витрины в ЕИП НСУД недоступно. Витрины и РЗ, созданные по шаблонам, называются тиражированными. Они также являются тиражируемыми, то есть могут использоваться в качестве шаблонов.

Шаблонам ВД и РЗ присваиваются номера версий. При обновлении шаблона создается его новая версия. Витрины и РЗ, созданные на основе шаблонов, также имеют номера версий и подлежат обновлению в соответствии с новыми версиями шаблонов.

В ЕИП НСУД любая Витрина данных организации (ведомства) должна быть связана с информационной системой (ИС), предварительно добавленной в ЕИП НСУД для этой организации (ведомства).

Рассмотрим, что необходимо сделать, чтобы создать на стороне Поставщика Витрину данных по шаблону и подготовиться к предоставлению данных Потребителям. Дополнительно рассмотрим процесс обновления версии тиражированной ВД.

Процесс состоит из следующих этапов:
  1.   Добавление ИС для тиражированной Витрины в ЕИП НСУД.
  2.   Добавление атрибута ИС для привязки ВД.
  3.   Создание тиражированной ВД.
  4.   Согласование созданной ВД.
  5.   Регистрация созданной ВД в тестовой и продуктивной средах СМЭВ4.
  6.   Создание тиражированного РЗ.
  7.   Загрузка модели данных в БД тиражированной ВД.
  8.   Обновление версии тиражированной ВД.

  Примечание

 На стороне Поставщика предварительно должно быть установлено ПО «Витрина данных». Подробнее об этом читайте в статьях – Установка витрины лайт или как быстро стартануть витрину и Установка витрины в конфигурации стандарт. Минимальный набор, расположенных на портале ЕСКС в разделе Межведомственное информационное взаимодействие | ЕСКС блок СМЭВ4 и витрины данных –> Витрины данных –> Создание витрин

  1.   Добавление информационной системы для тиражированной Витрины данных в ЕИП НСУД

  1.   Авторизуйтесь в ЕИП НСУД под организацией (ведомством) – владельцем Витрины данных, для которой необходимо добавить ИС. Если ИС уже добавлена, то следующие шаги этого раздела пропустите, откройте карточку ИС и перейдите к разделу – 2. Добавление атрибута ИС для привязки ВД.

  2.   В меню на левой панели выберите раздел Модель данных.

  3.   Перейдите на вкладку Информационные системы.
В результате откроется перечень всех ИС вашей организации.

  4.   Нажмите справа вверху кнопку Добавить ИС (см. Рисунок 1).

Рисунок 1 – ЕИП НСУД. Добавление ИС

В результате откроется форма Новая информационная система.

  5.   Заполните форму сведениями о добавляемой ИС. Обязательные поля помечены *:

• *Полное наименование – введите полное наименование ИС согласно НПА;
• *Краткое наименование – введите сокращенное наименование ИР согласно НПА;
• Назначение ИС – при необходимости введите назначение ИС;
• *Полное официальное название Организации (участника взаимодействия) – выберите из раскрывающегося списка УВ на роль оператора ИС;
• Информационные ресурсы – при необходимости выберите из раскрывающегося списка один или несколько информационных ресурсов (ИР) для связи с ИС;
• Код ФГИС КИ – при необходимости выберите из раскрывающегося списка код Федеральной государственной системы координации информатизации (ФГИС КИ);
• НПА, регламентирующие создание, ввод в эксплуатацию и эксплуатацию ИС – при необходимости добавьте НПА. Для этого нажмите ссылку Добавить НПА и выберите документ в раскрывающемся списке. Если в списке нет нужного документа, то добавьте его на вкладке Новый (перейдите по ссылке Добавить в разделе Документы; допустимые форматы файлов: .docx, .doc, .pdf, размер файла не должен превышать 10 Мб);
• Ответственный за ведение ИС – при необходимости добавьте сотрудника, ответственного за ведение ИС. Для этого нажмите ссылку Добавить сотрудника и выберите его из раскрывающегося списка. Если в списке нет требуемого сотрудника, то добавьте в список нового на вкладке Новый (перейдите по ссылке Добавить в разделе Сотрудники);
• В архиве – установите флажок при необходимости перемещения ИС в архив.

Подробное описание, как добавить НПА и сотрудника, приведено в документе Инструкция по работе в ЕИП НСУД (п. 4.3.2 Добавление НПА и сотрудников), размещённом на портале ЕСКС в разделе Документы Межведомственное электронное взаимодействие в блоке ЕИП НСУД.

На Рисунке 2 представлен пример заполненной формы новой ИС для тиражированной Витрины данных «Запись на приём к врачу».

Рисунок 2 – ЕИП НСУД. Добавление новой ИС

  6.   После заполнения формы нажмите кнопку Сохранить.
Откроется карточка созданной ИС.

Для того чтобы связать с ИС Витрину, которая будет создана по шаблону, необходимо добавить специальный атрибут ИС:

  1.   Перейдите на вкладку Атрибуты.

На Рисунке 3 показана карточка ИС на примере тиражированной Витрины данных «Запись на приём к врачу».

Рисунок 3 – ЕИП НСУД. Вкладка Атрибуты

  2.   На открывшейся вкладке нажмите на ссылку Добавить атрибут (см. Рисунок 4).

Рисунок 4 – ЕИП НСУД. Список атрибутов

   В результате откроется форма для добавления атрибута. Задайте значения для обязательных параметров (отмечены *) добавляемого атрибута:

• *Наименование – укажите произвольное наименование атрибута;
• *Технологическое наименование – укажите произвольное технологическое наименование атрибута;
• *Тип данных – выберите из раскрывающегося списка тип данных;
• *Формат – укажите произвольный формат представления данных;
• *Единица измерения – выберите из раскрывающегося списка единицы измерения.

  Примечание

 Все параметры атрибута задаются произвольно, на работу ИС и ВД они не влияют. Атрибут необходим лишь как сущность для привязки ВД к ИС

На Рисунке 5 показана форма для добавления атрибута ИС на примере тиражированной ВД «Запись на приём к врачу».

Рисунок 5 – ЕИП НСУД. Добавление атрибута

  3.   Нажмите кнопку Сохранить.
Атрибут будет создан и будет отображаться в списке атрибутов ИС.

Рисунок 6 – ЕИП НСУД. Список атрибутов ИС

  3.   Создание тиражированной Витрины данных

  Примечание

 Перед созданием Витрины данных по шаблону необходимо заранее уточнить актуальную версию шаблона

  1.   На главной странице ЕИП НСУД в меню на левой панели выберите раздел Модель данных.

  2.   Перейдите на вкладку Витрины данных.

Откроется перечень всех существующих Витрин.

  3.   Нажмите справа вверху кнопку Добавить витрину (см. Рисунок 7).

Рисунок 7 – ЕИП НСУД. Создание новой ВД

  4.   В открывшейся форме укажите параметры создаваемой Витрины. Обязательные поля отмечены * (см. Рисунок 8):

Рисунок 8 – ЕИП НСУД. Параметры создаваемой ВД

• *Поставщик данных – выберите из раскрывающегося списка участника взаимодействия, поставляющего данные для создаваемой ВД. По умолчанию отображается наименование организации, к которой привязана учетная запись пользователя;
• *Мнемоника – укажите мнемонику создаваемой ВД. К ней будет автоматически добавлен префикс, соответствующий Поставщику данных;
• *Тип витрины –выберите из раскрывающегося списка одно из значений:

               ->     Стандартная витрина – указывается для описания логической модели Витрины данных;
               ->     Тестовая витрина – указывается только для описания структуры данных и загрузки тестовых данных;
               ->     Общедоступная витрина (ИИ) – указывается только для описания структуры данных и загрузки данных, необходимых для табличных наборов данных искусственного интеллекта.

• Шаблон витрины данных – выберите шаблон ВД нужной версии из раскрывающегося списка;
• Отрасль – при необходимости выберите из раскрывающегося списка отрасль, к которой относится создаваемая ВД;
• Доступные сервисы витрины – при необходимости выберите из раскрывающегося списка необходимые вам сервисы Витрины данных: «Печатные формы», «СМЭВ3 адаптер», «СМЭВ QL», «BLOB адаптер», «Репликация», «OPEN API», «Агент проверок»;
• *Наименование – укажите наименование создаваемой ВД (при использовании шаблона подставляется автоматически);
• *Дата начала действия версии – укажите вручную или выберите в календаре дату начала действия версии ВД;
• Дата окончания действия версии – при необходимости укажите вручную или выберите в календаре дату окончания действия версии ВД (дата окончания действия версии не должна быть раньше даты начала действия версии);
• Описание витрины данных – при необходимости добавьте краткое описание создаваемой ВД;
• Тиражируемая – при создании ВД по шаблону данный флаг устанавливается автоматически.

  5.   Нажмите Сохранить (Рисунок 9).

Рисунок 9 – ЕИП НСУД. Параметры создаваемой ВД

В результате ВД будет создана, откроется её карточка (см. Рисунок 10).

Рисунок 10 – ЕИП НСУД. Карточка новой ВД

  6.   В карточке созданной ВД перейдите на вкладку Метаданные, чтобы привязать к ней ИС.

  7.   На вкладке Метаданные перейдите на вложенную вкладку Атрибуты (см. Рисунок 11). Будут отображены все атрибуты таблиц ВД, созданной по шаблону (они аналогичны атрибутам таблиц шаблонной ВД).

  8.   Справа от атрибута, предназначенного для привязки ВД к ИС, нажмите на значок  (см. Рисунок 11).

Рисунок 11 – ЕИП НСУД. Атрибуты созданной ВД

  9.   В меню действий выберите Изменить тип преобразования (см. Рисунок 12).

Рисунок 12 – ЕИП НСУД. Действие с атрибутом: «Изменить тип преобразования»

  10.   В открывшейся форме задайте вид атрибута и свяжите его с созданной ИС (Рисунок 13). Для этого заполните обязательные поля (обозначены *):

• *Вид атрибута – выберите из раскрывающегося списка вид атрибута (произвольно);
• *Информационная система – выберите ИС, созданную на первом шаге (см. раздел 1);
• *Атрибут ИС – выберите из раскрывающегося списка атрибут, предназначенный для привязки ВД к ИС.

Рисунок 13 – ЕИП НСУД. Изменение типа преобразования атрибута

  11.   Нажмите Сохранить (см. Рисунок 13).

  4.   Согласование созданной Витрины данных

Созданную витрину необходимо согласовать, после этого будет возможно создать для нее РЗ на основе РЗ тиражируемой ВД. В данной статье это будет показано на примере Витрины данных «Запись на прием к врачу».

  1.   В карточке витрины перейдите в раздел Согласование.

  2.   Нажмите кнопку Начать (см. Рисунок 14).

Рисунок 14 – ЕИП НСУД. Согласование созданной Витрины данных

Далее необходимо пройти все этапы согласования Витрины данных. Подробное описание согласования ВД доступно в Инструкции по работе в ЕИП НСУД (п.п 4.5.10 Согласование ВД), размещённой на портале ЕСКС в разделе Документы Межведомственное электронное взаимодействие в блоке ЕИП НСУД.

  5.   Регистрация ВД в тестовой и продуктивной средах СМЭВ4

Для регистрации созданной ВД в тестовой и продуктивной средах СМЭВ4 выполните следующие действия:

  1.   В ЕИП НСУД перейдите в карточку ВД.

  2.   В карточке ВД справа в разделе Взаимодействие с СМЭВ4 нажмите Отправить (см. Рисунок 15).

Рисунок 15 – ЕИП НСУД. Карточка Витрины данных

В результате справа в разделе Статус регистрации в СМЭВ4 (см. Рисунок 16) для этой ВД отобразится статус Зарегистрирован.

Рисунок 16 – ЕИП НСУД. Статус Витрины данных

  6.   Создание тиражированного РЗ

После выполнения всех указанных выше действий в Витрине данных становится доступной возможность скопировать РЗ из тиражируемой (шаблонной) Витрины.

  Примечание

 Cкопировать РЗ для тиражированной ВД также возможно до ее регистрации в тестовой и продуктивной средах

Для тиражирования РЗ выполните следующие действия:

  1.   Откройте карточку тиражируемой (шаблонной) Витрины данных.

  2.   Нажмите Копировать РЗ (см. Рисунок 17).
В результате откроется список РЗ, доступных для копирования.

Рисунок 17 – ЕИП НСУД. Карточка Витрины данных

  3.   В списке доступных для копирования РЗ исключите ненужные, нажав на значок Х. Оставьте только те, которые требуется растиражировать (см. Рисунок 18).

Рисунок 18 – ЕИП НСУД. Список РЗ, доступных для копирования, в созданной ВД

  4.   Нажмите Сохранить.
РЗ будут скопированы. 

Список тиражированных РЗ будет отображаться в карточке тиражированной ВД на панели Связи, вкладка РЗ (см. Рисунок 19). Рядом с названием вкладки отображается количество РЗ.

Рисунок 19 – ЕИП НСУД. Карточка Витрины данных

  5.   Убедитесь, что все скопированные РЗ отправлены в тестовую и в продуктивную среды. 

Для каждого РЗ выполните следующие действия:

          1)     Нажмите на название РЗ в списке, чтобы перейти в карточку РЗ (см. Рисунок 20).

Рисунок 20 – ЕИП НСУД. Карточка Витрины данных. Панель Связи. Список РЗ

          2)     Проверьте статус РЗ: статус «Зарегистрирован» означает, что РЗ отправлен в тестовую и продуктивную среды СМЭВ4. Если отображается статус «Не отправлен», то необходимо отправить данный РЗ в тестовую и продуктивную среды.

На Рисунке 21 показан статус регистрации РЗ в тестовой и продуктивной средах СМЭВ4 на примере ВД «Запись на прием к врачу».

Рисунок 21 – ЕИП НСУД. Статус РЗ

  7.   Загрузка модели данных в БД тиражированной Витрины

Загрузкой модели данных (структуры) в БД Витрины для простоты называют создание модели данных (структуры) напрямую через Prostore в соответствии со структурой, созданной в ЕИП НСУД.

Для загрузки модели данных БД созданной Витрины в Prostore предусмотрены следующие способы (см. Рисунок 25):

  1 способ:   Создание модели данных путем загрузки XML-схемы с помощью приложения CSV-uploader – подходит для первичного создания модели данных.

  2 способ:   Создание модели данных с помощью DDL-команд с использованием приложения DBeaver – подходит для первичного создания модели данных.

  3 способ:   Обновление модели данных с помощью DDL-команд с использованием приложения DBeaver – подходит только для обновления ранее созданной модели данных.

Рисунок 22 – ЕИП НСУД. Создание модели данных

  1 способ:   Создание модели данных путем загрузки XML-схемы с помощью CSV-uploader

В карточке Витрины данных в ЕИП НСУД на панели Сформировать описание ВД нажмите Сформировать XML версии ВД (способ 1 на Рисунке 22).

Подробное описание процесса создания модели данных (структуры) БД Витрины с помощью приложения CSV-uploader приведено в статье – CSV-uploader» (раздел «Загрузка структуры Витрины в CSV-uploader»).

  2 способ:   Создание модели данных с помощью DDL-команд в DBeaver

  1.   В карточке Витрины данных в ЕИП НСУД на панели Сформировать описание ВД нажмите DDL версии ВД (способ 2 на Рисунке 22).
В результате будет загруженSQL-файл, содержащий команды для создания модели данных. Для краткости будем называть такой файл DDL-схемой. Файл будет автоматически сохранен на локальном компьютере в папке Загрузки.

  2.   Откройте загруженный файл в текстовом редакторе (рекомендуем использовать Notepad ++) и добавьте первой строкой команду для создания базы данных:

Createdatabase mnemonica_vd;

где:

• mnemonica_vd – мнемоника Витрины данных.

На Рисунке 23 представлен пример файла со сформированной DDL-схемой и добавленной в неё командой для создания новой базы данных Витрины i_u038_gorodarf (Города РФ).

Рисунок 23 – Редактирование файла с DDL-схемой

  Примечание

 В случае использования ПО «Витринах данных» версий 1.x дополнительно необходимо создать внешние таблицы. Для этого в файл с DDL-схемой после списка скриптов для создания таблиц нужно добавить скрипты для создания внешних таблиц для каждой таблицы из DDL-схемы

Пример скрипта:

CREATE upload external table db_name.table_name_ext ( column_name data_type [ NULL | NOT NULL ], [ ... , ] ) LOCATION ‘kafka://<server>:2181/db_name_table_name’ FORMAT ‘AVRO’;

 где:

• db_name – имя базы данных (мнемоника ВД)
• table_name – имя таблицы базы
• column_name – название столбца
• data_type – тип данных

В строке LOCATION указывается сервер/серверы и порт Kafka, имя базы данных и таблица Витрины, для которой создаётся внешняя таблица (будет использоваться в качестве префикса для топика Kafka).

Пример скрипта для создания внешней таблицы для Витрины данных i_u038_gorodarf (Города РФ) представлен на Рисунке 24:

Рисунок 24 – Редактирование DDL-схемы. Блок для создания внешних таблиц

  3.   В DBeaver настройте подключение к БД Prostore.
Настройка подключения к БД описана в статье – Как найти причину ошибки обмена СМЭВ4 (раздел «Рекомендации для Поставщиков данных»).

  4.   Подключитесь к БД Prostore.

  5.   Создайте новый скрипт (Рисунок 25). Для этого:

          1)     Щелкните на названии подключения правой кнопкой мыши;
          2)     В выпадающем меню выберите Редактор SQL;
          3)     В подменю выберите Открыть SQL скрипт.

Рисунок 25 – DBeaver. Создание SQL-скрипта

  6.   В открывшееся окно нового скрипта вставьте скопированое содержимое отредактированного ранее файла с DDL-схемой.

  7.   Выделите весь скрипт целиком комбинацией клавиш Ctrl + A.

  8.   Запустите запрос, нажав на желтый треугольник (Выполнить SQL запрос) (см. Рисунок 26).

Рисунок 26 – DBeaver. Запуск SQL-скрипта

  9.   Дождитесь завершения выполнения запроса.
При его успешном завершении будет создана БД с таблицами, отобразится информационное окно c результатом.

Уведомление «Нет данных» означает, что в таблицах на данный момент отсутствуют данные (см. Рисунок 27).

Рисунок 27 – DBeaver. Успешный результат запуска SQL-скрипта

  3 способ:   Обновление модели данных с помощью DDL-схемы

Модель данных требуется обновлять после обновления версии Витрины данных (см. раздел 8. Обновление тиражированной ВД). Версии ВД могут отличаться друг от друга атрибутивным составом таблиц и набором таблиц.

Для внесения изменений в уже созданную схему базы данных воспользуйтесь командами для изменения атрибутов.

Для обновления модели данных выполните следующие действия:

  1.   В карточке Витрины данных в ЕИП НСУД на панели Сформировать описание ВД нажмите Сформировать DDL на дельту версий ВД (см. Рисунок 22, способ 3).

  2.   В открывшемся окне выберите версию ВД, с которой необходимо сравнить текущую версию Витрины (см. Рисунок 28).

 Рисунок 28 – ЕИП НСУД. Формирование DDL на дельту (разницу) версий ВД

В результате будет сформирован DDL-файл с описанием изменений в таблицах.

Команды для изменения атрибутовв созданной модели данных

Для различных действий по изменению атрибутов уже существующей модели данных в БД Витрины в Prostore рекомендуем воспользоваться набором команд, описанных ниже.

  1.   Добавление столбца в существующую таблицу БД

Команда:

ADD COLUMN

Синтаксис:

ALTER table <имя_таблицы> ADD COLUMN <имя_столбца> <тип_данных> null;

Пример использования:

Добавление столбца history в таблицу gorodarf:

ALTER table gorodarf ADD COLUMN hystory VARCHAR null;

В результате выполнения команды в существующую таблицу gorodarf будет добавлен столбец history со строковым типом данных переменной длины (VARCHAR).

Рисунок 29 – DBeaver. Добавление нового столбца (атрибута) в таблицу

2.   Удаление столбца из существующей таблицы

Команда:

DROP COLUMN

Синтаксис:

ALTER table <имя_таблицы> DROP COLUMN <имя_столбца>;

Пример использования:

Удаление столбца history из таблицы gorodarf:

ALTER table gorodarf DROP COLUMN history;

В результате выполнения команды столбец history будет удален из таблицы gorodarf. 

Рисунок 30 – DBeaver. Удаление столбца (атрибута) из таблицы

  3.   Переименование столбца в таблице

Команда:

RENAME COLUMN

Синтаксис:

ALTER TABLE <имя_таблицы> RENAME COLUMN <текущее_имя_столбца> TO <новое_имя_столбца>;

Пример использования:

Переименование в таблице gorodarf столбца hystory в information:

ALTER TABLE gorodarf RENAME COLUMN hystory TO information;

В результате столбец hystory будет переименован в information.

Рисунок 31 – DBeaver. Переименование столбца (атрибута) в таблице

  4.   Удаление таблицы из БД

  Внимание!

 Выполнение данной команды приведёт к потере данных!

Команда:

DROP TABLE

Синтаксис:

DROP TABLE <имя_базы_данных>.<имя_таблицы>;

После запуска команды DBeaver предупредит о последующей потере данных (см. Рисунок 32). Необходимо подтвердить данное действие, если оно является намеренным.

Рисунок 32 – DBeaver. Предупреждение о потере данных

   8.   Обновление тиражированной ВД

Рекомендуется отслеживать наличие обновлений шаблонов ВД и РЗ и обновлять созданные на основе этих шаблонов (тиражированные) ВД и РЗ. Информация о наличии обновлений отображается в шапке карточки тиражированной Витрины данных (см. Рисунок 33).

Рисунок 33 – ЕИП НСУД. Наличие обновлений для шаблона Витрины данных

Для обновления тиражированной Витрины данных выполните следующие действия:

  1.   Откройте карточку Витрины данных в ЕИП НСУД.

  2.   Прокрутите ползунок вниз до панели Версия витрины данных (справа).

  3.   Нажмите Создать новую версию (см. Рисунок 34).
Откроется окно Создание новой версии Витрины данных.

Рисунок 34 – ЕИП НСУД. Окно Создание новой версии Витрины данных

  4.   Заполните следующие поля (см. Рисунок 35):

• *Номер версии – выберите из раскрывающегося списка вариант: минорная или мажорная;

  Примечание

 Рекомендуется выбирать вариант «минорная», если внесены незначительные изменения, которые не меняют структуру данных (например, добавление нового атрибута в таблицу). Выбирать вариант «мажорная» рекомендуется, когда происходят комплексные изменения (например, удаление/добавление таблиц и меняется атрибутивный состав)

• *Шаблон витрины данных – выберите из раскрывающегося списка актуальную версию шаблона;
• *Дата начала действия версии – укажите дату начала действия новой версии Витрины;
• Дата окончания действия версии – оставить поле незаполненным.

Рисунок 35 – ЕИП НСУД. Создание новой версии Витрины данных

  5.   Нажмите Сохранить (см. Рисунок 35).

  6.   Выполните шаги с 6 по 11 раздела 3. Создание Витрины данных по шаблону,
чтобы привязать новую версию тиражированной ВД к ИС с помощью атрибута.

  7.   Выполните согласование ВД (см. раздел 4. Согласование созданной Витрины данных).

  8.   Отправьте
тиражированную Витрину новой версии в тестовую и продуктивную среды СМЭВ4 (см.
раздел 5. Регистрация ВД в продуктивной среде).

  9.   Скопируйте РЗ (см. раздел 6. Создание тиражированного РЗ).

  10.   Загрузите модель данных в БД тиражированной ВД (см. раздел 7. Загрузка модели данных в БД тиражированной ВД).