Работа с инцидентами качества данных

В рамках работы над качеством данных Поставщику необходимо использовать специальный сервис управления качеством данных «Качество 2.0», реагировать на возникающие инциденты и проводить работу по их разрешению.

Шаги для подключения сервиса управления качеством данных описаны в статье «Работа с Качеством 2.0».

Работа с инцидентами выполняется при помощи платформы ЕИП НСУД, где осуществляется управление статусами инцидента, и типового программного обеспечения управления данными «АРМ Датастюарда» (далее – АРМ ДС), которое позволяет выявить наличие данных, не удовлетворяющих требованиям к качеству, и локализовать проблемные данные.

Проверки качества данных выполняются по определенному расписанию или при загрузке данных. В случае обнаружения несоответствия данных требованиям к их качеству при выполнении проверки автоматически формируется инцидент. Его вид определяется видом проверки качества, который был указан при создании этой проверки в сервисе «Качество 2.0»:

• если указан вид Блокирующая (пороговый инцидент), то при превышении заданного порогового количества ошибок создается пороговый инцидент качества данных;
• если указан вид Блокирующая (построчный инцидент), то создается построчный инцидент качества данных для каждой выявленной ошибки вне зависимости от установленного порога.

Подробнее о формировании инцидентов – в Инструкции ЕИП НСУД (п. «Формирование инцидентов качества данных 2.0»).

Жизненный цикл инцидента

Для инцидентов Качества данных 2.0 предусмотрены следующие статусы:

• Новый;
• В работе;
• Закрыт.

При создании инцидента ему присваивается статус «Новый», при этом в ЕИП НСУД инцидент должен быть назначен автоматически или вручную Ответственному сотруднику с ролью «Ответственный за качество данных».

Далее инцидент может быть взят в работу (присваивается статус «В работе») или закрыт (присваивается статус «Закрыт») вручную в ЕИП НСУД на вкладке «Управление статусом» карточки инцидента.

Инцидент переходит в статус «Закрыт» в автоматическом режиме в следующих случаях:

• для порогового инцидента: если повторная проверка прошла успешно, и доля ошибок не превысила порог ошибок;
• для построчного инцидента: ошибка в записи была исправлена;
• для инцидента любого вида: если проверка качества, при выполнении которой был сформирован инцидент, перенесена в архив.

Работа с инцидентами в ЕИП НСУД

Подробное описание работы с инцидентами в ЕИП НСУД приведено в Инструкции ЕИП НСУД, п. «Управление инцидентами качества 2.0».

Для перехода к модулю управления инцидентами качества 2.0 выберите в меню слева раздел «Эксплуатация» –> «Поддержка» и откройте вкладку Качество 2.0 (Рисунок 1).

Рисунок 1 Инциденты качества в ЕИП НСУД

На вкладке Качество 2.0 отображается список всех инцидентов. Его можно отфильтровать по статусу, Витрине, ответственному и другим параметрам.

Чтобы открыть карточку инцидента, нажмите на его наименование.

Также перейти к инциденту можно из карточки Проверки, нажав в Журнале на номер сформированного в ходе выполнения проверки инцидента (Рисунок 2).

Рисунок 2 Журнал проверки

В карточке инцидента на вкладке Описание (Рисунок 3) отображается общая информация об инциденте, в том числе:

• номер инцидента;
• процентная доля выявленных ошибок и допустимый порог – для порогового инцидента;
• ID ошибки – для построчного инцидента;
• наименование проверяемой Витрины;
• наименование проверки, в ходе выполнения которой возник инцидент;

• сотрудник, ответственный за решение инцидента;
• SLA или плановая дата закрытия и оставшееся до закрытия время.

Рисунок 3 Пример карточки инцидента в ЕИП НСУД

На вкладке Управление статусом можно взять инцидент в работу или закрыть его вручную, выбрав соответствующее действие из раскрывающегося списка. На этой же вкладке можно просмотреть историю изменений статуса инцидента (Рисунок 4).

Рисунок 4 Управление статусом инцидента

Если для проверяемой Витрины указан сотрудник, ответственный за инциденты качества 2.0, то созданный инцидент будет автоматически назначен на него. Изменить назначение или указать ответственного, если он не был указан, можно в карточке инцидента по ссылке Изменить (Рисунок 5).

Рисунок 5 Назначение или изменение ответственного сотрудника в карточке инцидента в ЕИП НСУД

Примечание

Ответственным за инцидент или Витрину в целом можно указать только сотрудника, имеющего роль «Ответственный за качество данных» в ЕИП НСУД.

Ответственного за инциденты качества для конкретной Витрины можно назначить на вкладке Описание в карточке Витрины (Рисунок 6).

Рисунок 6 Назначение сотрудника, ответственного за инциденты Качества 2.0, в карточке витрины в ЕИП НСУД

Работа с инцидентами в АРМ ДС

Подробное описание работы с инцидентами в АРМ ДС приведено в Руководстве пользователя АРМ ДС.

К инцидентам в АРМ ДС можно перейти со вкладок Статистика по последним проверкам (Рисунок 7) или Ошибки в данных, выполнив поиск по номеру инцидента (Рисунок 8).

Рисунок 7 АРМ ДС. Статистика по последним проверкам

Рисунок 8 АРМ ДС. Ошибки в данных. Поиск по номеру инцидента

Помимо общей информации об инциденте (Рисунок 9) в АРМ ДС можно просмотреть детальную информацию о каждой выявленной ошибке (Рисунок 10) и выгрузить список ошибок в CSV-файл (Рисунок 11).

Рисунок 9 Общая информация об инциденте

Рисунок 10 Детальная информация об ошибке

Рисунок 11 Выгрузка списка ошибок в CSV-файл

Дополнительные возможности АРМ ДС

В АРМ ДС можно просматривать не только выявленные ошибки, но также:

• информацию о созданных в ЕИП НСУД проверках,
• результаты выполнения проверок,
• агрегированную статистику качества данных.

Кроме этого, можно выполнять SQL-запросы типа SELECT к своей Витрине в рамках работы над качеством данных для получения более подробной информации о данных, загруженных в Витрину.

 Важно!

Произвольные SQL-запросы в АРМ ДС нужно формировать таким образом, чтобы выполнение запроса не создавало избыточной нагрузки на Витрину. В частности, рекомендуется: 

- избегать сложных конструкций с подзапросами или JOIN;

- запрашивать небольшие объемы данных;

- выполнять запросы в периоды снижения трафика в Витрину, обусловленного целевыми сценариями её работы.

Более подробную информацию о сведениях, изложенных в указанной статье, можно получить в обучающем видеоматериале.