Пошаговый гайд по созданию проверок качества данных 1.0

Объединение проверок качества данных в набор помогает:

• выявить в данных ошибки (например, неверный тип данных, некорректный диапазон, неверный набор значений) и несоответствия (когда значения противоречат друг другу);
• обеспечить согласованность данных (например, позволяют убедиться, что определенные наборы данных содержат одинаковые наименования организации/ведомства);
• выявить дубликаты (обеспечить отсутствие повторов записей или значений);
• проверить данные на соответствие требованиям бизнес-логики (например, убедиться, что данные соответствуют нужному набору условий согласно бизнес-процессам).

  Примечание

Проверки качества данных выполняются только в продуктивном контуре.
Создание проверок качества данных доступно пользователям с ролью Инженер качества в ЕИП НСУД. Согласовать созданные проверки качества может только пользователь с ролью Ответственный за качество.

Реализация проверок состоит из следующих шагов:

1. Создание набора проверок.
2. Создание проверок в наборе проверок.
3. Отладка SQL-запросов проверок с помощью ПО DBeaver.
4. Согласование проверок.
5. Тестирование и запуск набора проверок.

Создание набора проверок качества данных

Для создания ПКЧ необходимо сначала создать набор, в который будут входить планируемые проверки. Набор может содержать одну или более проверок.

Для создания набора проверок выполните следующие действия:

     1)     Авторизуйтесь в ЕИП НСУД под организацией (ведомством) - владельцем Витрины данных, для которой необходимо создать проверки качества.

     2)     В меню на левой панели выбрать раздел Качество данных.

     3)     Перейдите в раздел Проверки.

  Примечание

В настоящее время сервис ПКЧ доступен в версиях 1.0 и 2.0. В данной статье рассматривается процесс создания проверок в версии ПКЧ 1.0.
Версия ПКЧ 2.0 по сравнению с 1.0 имеет ряд дополнительных функций и преимуществ, в том числе:
– просмотр детального журнала результатов проверок, что даёт возможность самостоятельного анализа, локализации и диагностики выявленных отклонений качества данных;
 – графическая визуализация агрегированной статистики качества данных;
 – управление инцидентами качества данных, сформированными по результатам выполнения проверок;
 – обеспечение сверки данных, размещенных в Витринах данных, ГИС ЕРН и ЕСНСИ;
 – дополнительные виды проверок: полнота, достоверность, точность и консистентность данных.
Создание проверок качества данных доступно пользователям с ролью Инженер качества в ЕИП НСУД. Согласовать созданные проверки качества может только пользователь с ролью Ответственный за качество.

Ознакомиться с общим описанием проверок качества, а также узнать, как работать с Проверками 2.0, описано в статье – Проверки качества данных витрин.

     4)     В раскрывающемся списке выберите пункт «Проверки 1.0» (см. Рисунок 1).

Рисунок 1 – ЕИП НСУД. Выбор версии ПКЧ

После нажатия на Проверки 1.0 будет доступен просмотр всех существующих наборов проверок (НП) (по умолчанию для авторизированных пользователей).

     5)     Для создания нового набора проверок нажмите справа вверху кнопку Добавить набор проверок (см. Рисунок 2).
В результате откроется форма создания набора проверок (НП).

Рисунок 2 – ЕИП НСУД. Добавление набора проверок

Задайте параметры для нового НП (обязательные поля отмечены *):

• Код набора проверок – уникальный идентификационный код проверки (не заполняется, значение будет сгенерировано автоматически при сохранении формы);
• *Наименование набора проверок – задайте наименование создаваемого НП;
• *Витрина данных – выберите из списка Витрину, в рамках которой создаётся НП;
• *Агент – выберите из раскрывающегося списка Агент-исполнитель ЕИП НСУД. Для выбора доступны синхронный и асинхронный Агенты-исполнители.

  Примечание

Выбор агента-исполнителя определяет режим обработки запросов для всего набора проверок:
– синхронный агент подходит для простых запросов, которые не сильно нагружают ВД;
– асинхронный агент рекомендуется использовать в случае сложносоставных многосвязных запросов, которые требуют большого количества времени на выполнение.
Выбор агента будет влиять на все виды проверок в наборе.

• Описание – при необходимости добавьте описание набора проверок;
• *Периодичность – выберите из раскрывающегося списка периодичность выполнения набора проверок:
              –>     Ежедневно;
              –>     Еженедельно;
              –>     Ежемесячно;
              –>     Задать вручную.

• *Время запуска в течение дня – укажите время, в которое будут запускаться проверки;
• *День запуска в течение недели – укажите день недели, в который будут запускаться проверки. Доступно, если в поле Периодичность выбрано значение «Еженедельно»;
• *День запуска в течение месяца – укажите день месяца, в который будут запускаться проверки. Доступно, если в поле Периодичность выбрано значение «Ежемесячно»;
• *Интервал – укажите интервал между запусками набора проверок. Формат: 1d (в днях) или 1h (в часах). Доступно, если в поле Периодичность выбрано значение «Задать вручную»;
• *Период проверки с даты – укажите дату, начиная с которой будет действовать расписание запуска проверок;
• Период проверки по дату – при необходимости укажите дату, до которой (включительно) будет действовать расписания запуска проверок. Если дата окончания периода проведения проверок не указана, расписание будет действовать бессрочно;
• Проверки по критериям – установите этот флажок, чтобы активировать проверки по определенным критериям, в этом случае при создании проверки в наборе проверок станет доступной настройка «Показатель качества проверок»);
• Перенести набор проверок в архив – установите этот флажок, если требуется перенести данный набор в архив.

На Рисунке 3 представлена заполненная форма для создания НП качества данных на примере Витрины i_u038_gorodarf.

Рисунок 3 – ЕИП НСУД. Создание набора проверок качества данных (на примере Витрины данных i_u038_gorodarf)

     6)     Нажмите кнопку «Сохранить» (см. Рисунок 3).
Набор проверок будет создан, его параметры сохранены. После нажатия откроется карточка созданного набора (см. Рисунок 4).

Рисунок 4 – ЕИП НСУД. Карточка набора проверок для ВД

Создание проверок в наборе проверок

Проверки качества данных в наборе проверок можно создавать следующими способами:

• вручную;
• при помощи шаблона отдельной проверки;
• при помощи шаблона набора проверок;
• с помощью импорта.

  Примечание

Создание и редактирование проверок качества данных (ПКЧ) доступно для наборов проверок только в статусе «Черновик». Если НП находится на стадиях согласования (имеет статусы «На согласовании», «Согласовано», «Отклонено»), то его редактирование будет недоступно. Если же появилась такая необходимость, то нужно создать новую версию набора проверок.

Со всеми способами создания проверок можно ознакомиться в документе Инструкция по работе в ЕИП НСУД, размещённом на портале ЕСКС в разделе Документы Межведомственного электронного взаимодействия в блоке ЕИП НСУД (п. 4.9.3 Создание проверок качества данных в наборе проверок).

В данной статье рассмотрим основной способ создания проверок качества –  вручную.

Создание проверок качества данных вручную

     1)     В карточке набора проверок перейдите на вкладку Состав проверок (Рисунок 5).

Рисунок 5 – ЕИП НСУД. Карточка набора проверок для ВД

     2)     Нажмите «Добавить проверку» (Рисунок 6).

Рисунок 6 – ЕИП НСУД. Состав проверок

В результате откроется форма создания проверки (Рисунок 7). 

Рисунок 7 – ЕИП НСУД. Создание проверки. На примере Витрины данных i_u038_gorodarf

     3)     Заполните форму. Обязательные поля отмечены *.

  Примечание

Для заполнения формы можно воспользоваться готовыми шаблонами на основе уже созданных проверок, они расположены справа на панели Шаблоны проверок. Подробнее о Шаблонах проверок читайте в Инструкции по работе в ЕИП НСУД, размещённой на портале ЕСКС в разделе Документы Межведомственного электронного взаимодействия в блоке ЕИП НСУД (п. 3.11.4 Просмотр шаблона проверки).

• Код проверки – уникальный идентификационный код проверки (не заполняется, значение будет сгенерировано автоматически при сохранении формы);
• *Наименование проверки – задайте наименование создаваемой проверки;
• *Вид – выберите значение из раскрывающегося списка:

             –>     Блокирующая – если при обнаружении ошибки необходимо создание инцидента качества данных при превышении значения, заданного в параметре Критерий качества данных (допустимая доля ошибок), %;
             –>     Уведомительная – если необходимо фиксировать результат проведения проверки без создания инцидента качества данных.

• *Статус – выберите значение из раскрывающегося списка:

             –>     Активная проверка – при запуске набора проверок эта проверка будет поставлена в очередь на выполнение;
             –>     Неактивная проверка – при запуске набора проверок данная проверка качества  не будет выполняться.

• *Критерий качества данных (допустимая доля ошибок), % – введите цифры вручную или выберите при помощи стрелок в правой части поля. Формат: целое число от 0 до 100 (включительно). Если при выполнении проверок по тому или иному расписанию данный показатель будет превышен, то сформируется инцидент качества данных;
• Дополнительные характеристики – при необходимости выберите из раскрывающегося списка набор дополнительных характеристик (среди них: направление, приоритет загрузки, обязательность, уровень критичности);
• Показатель качества проверок – при необходимости выберите из раскрывающегося списка одно из следующих значений:

             –>     Полнота;
             –>     Достоверность;
             –>     Актуальность;
             –>     Уникальность;
             –>     Согласность;
             –>     Доступность.

  Примечание

Поле «Показатель качества проверок» становится доступным к заполнению только в случае, если при создании набора проверок был активирован признак «Проверки по критериям».

     4)     Прокрутите ползунок вниз до области Реализация проверки. В Конструкторе SQL задайте необходимые параметры для формирования SQL-запроса (Рисунок 8).

Рисунок 8 – ЕИП НСУД. Создание новой проверки. Область Реализация проверки. На примере Витрины данных i_u038_gorodarf

     5)     Прокрутите ползунок ещё ниже до поля с автоматическим формированием SQL запроса. Для того, чтобы отредактировать сформированный запрос, необходимо , нажать кнопку «Применить запрос», тогда он отобразится ниже в поле для редактирования (Рисунок 9).

Рисунок 9 – ЕИП НСУД. Создание новой проверки. Область Реализация проверки. SQL запрос. На примере Витрины данных i_u038_gorodarf     

     6)     Ниже скорректирован пример запроса, с помощью которого выполняется проверка таблицы gorodarf на наличие записей в столбце code_region (Код региона), не удовлетворяющих условию, что запись содержит два символа, каждый в диапазоне от 0 до 9 (Рисунок 10).

SELECT COUNT(1) FROM i_u038_gorodarf.gorodarf WHERE cast(code_region as varchar) not similar to '[0-9]{2}'

Рисунок 10 – ЕИП НСУД. Создание проверки. Описание проверки. Подсчет количества строк

     7)     Заполните оставшиеся поля в форме создания проверки (см. Рисунок 10). 

• Подсчет количества строк – установите флаг, чтобы добавить дополнительный SQL-запрос для подсчета количества строк таблицы Витрины в случае использования сложносоставного SQL-запроса (содержащего конструкции WHERE, JOIN, GROUP BY) (Рисунок 10).

После установки флага появится поле для ввода дополнительного запроса. Введите дополнительный SQL-запрос для подсчета количества строк таблицы Витрины. На примере витрины ГородаРФ:

SELECT COUNT(1) FROM i_u038_gorodarf.gorodarf

• Без валидации SQL – при необходимости установите флаг, чтобы отключить проверку синтаксиса SQL-запроса и проверку соответствия таблиц и атрибутов, указанных в запросе, с проверяемой версией Витрины данных;
• Описание проверки – при необходимости опишите как работает проверка.

     8)     По окончании заполнения формы нажмите кнопку «Сохранить». Проверка с указанными параметрами будет создана.

Откроется карточка проверки (Рисунок 11).

Рисунок 11 – ЕИП НСУД. Карточка проверки

После создания проверок можно просмотреть перечень всех созданных проверок на вкладке Состав проверок (Рисунок 12). Для этого повторно нажмите на вкладку Состав проверок.

Рисунок 12 – DBeaver. Состав созданных проверок в наборе проверок

Отладка SQL-запросов проверок с помощью ПО DBeaver

Для того чтобы проверить, как выполняется SQL-запрос с проверкой, можно воспользоваться ПО DBeaver.

  Примечание

Проверить работу SQL-запроса проерки через DBeaver возможно только при наличии прямого доступа к базе данных Витрины.

Пример 1:

Рассмотрим порядок действий на примере проверки для Витрины данных ГородаРФ:

   1.  Создаем соединение с базой данных витрины через JDBC-драйвер.
О том, как создать подключение к БД, читайте на портале ЕСКС в статье – Как найти причину ошибки обмена СМЭВ4? в разделе Рекомендации для Поставщиков данных -> Настройка JDBC-драйвера.

   2.  Выполним следующие команды для проверки работы запроса:

use i_u038_gorodarf;
SELECT COUNT(1) FROM i_u038_gorodarf.gorodarf WHERE cast(code_region as varchar) not similar to '[0-9]{2}'

Первая команда – содержит мнемонику Витрины, к базе данных которой будут применяться проверки (запросы). 

Вторая команда – запрос из проверки для таблицы gorodarf на наличие записей code_region (Код региона), не удовлетворяющих условию, что запись содержит два символа, каждый в диапазоне от 0 до 9. Результат представлен на Рисунке 13.

Рисунок 13 – DBeaver. Результат выполнения запроса

Результат выполнения запроса показывает, что в таблице gorodarf Витрины данных Города РФ имеются три записи, не удовлетворяющие условиям проверки.

   3.  Для вывода этих трёх записей составим и выполним следующий запрос:

SELECT i_u038_gorodarf.gorodarf.code_region FROM i_u038_gorodarf.gorodarf WHERE cast(code_region as varchar) not similar to '[0-9]{2}' limit 20

Рисунок 14 – DBeaver. Результат проверки

Пример 2:

Рассмотрим следующий пример: проверка, которая ищет пустые записи в поле federal_district (Федеральный округ) в таблице gorodarf:

   1.  Выполним следующий запрос:

SELECT COUNT(*) as result_count FROM i_u038_gorodarf.gorodarf WHERE i_u038_gorodarf.gorodarf.federal_district is NULL

Рисунок 15 – DBeaver. Результат проверки

Данная проверка показала, что в таблице gorodarf отсутствуют пустые записи в поле federal_district (Федеральный округ). Для того чтобы убедиться в этом, выведем данные из таблицы gorodarf при помощи запроса (в таблице БД gorodarf всего 6 записей, выведем их через надстройку LIMIT):

SELECT * FROM i_u038_gorodarf.gorodarf LIMIT 10

Рисунок 16 – DBeaver. Результат вывода данных из таблицы gorodarf

На Рисунке 16 показан результат выполнения запроса, из которого видно, что в БД загружены шесть строк. В каждой строке заполнено поле federal_district, что не соответствует условию: is NULL (что означает «равно нулю»). Следовательно, можно сделать вывод о том, что проверка отработала корректно.

Согласование проверок

Процесс согласования набора проверок описан в Инструкции по работе в ЕИП НСУД, размещённой на портале ЕСКС в разделе Документы Межведомственного электронного взаимодействия в блоке ЕИП НСУД (п. 4.9.4 Согласование НП).

Тестирование и запуск набора проверок

В ЕИП НСУД есть возможность предварительно протестировать проверки в наборе перед запуском.

  Примечание

Протестировать проверки в наборе возможно только после согласования (для проверок в статусе «Черновик» запуск тестирования не предусмотрен).

Для того, чтобы протестировать проверки в НП, необходимо:

   1.  В карточке набора проверок нажмите «< Действия». В раскрывающемся списке выберите пункт «Тестировать проверку» для запуска тестирования проверок (Рисунок 17 - шаг 1).

   2.  Перейдите на вкладку Журнал, для отображения статистики по проверкам (Рисунок 17 - шаг 2).

Рисунок 17 – ЕИП НСУД. Тестирование проверок

Процесс запуска набора проверок описан в Инструкции по работе в ЕИП НСУД, размещённой на портале ЕСКС в разделе Документы Межведомственного электронного взаимодействия в блоке ЕИП НСУД (п. 4.9.5 Тестирование и запуск НП).

При соблюдении всех правил формирования ПКЧ, корректного написания запросов и согласования набор проверок должен выполняться по расписанию.