Новости 
База знаний 
Документация 
Форум 
ЛК УВ 
Назад
Дата актуализации: 16.06.2026.
Причина актуализации: Доработки ЕИП НСУД и выход новой версии АРМ ДС.
В данной статье рассмотрим все составляющие, которые призваны помочь Поставщику СМЭВ4 контролировать качество данных в своей Витрине, а также разберем шаги, необходимые для настройки работы с качеством данных.
Схема организации проверок качества данных
Схема взаимодействия компонентов для организации работы с качеством данных представлена на Рисунке 1.
Рисунок 1. Взаимодействие компонентов для организации работы с качеством данных
На данной схеме значком «NEW» помечены новые компоненты и функционал, разработанные специально для организации работы с качеством, а именно:
- Функционал управления проверками качества данных (ПКЧ) 2.0 в ЕИП НСУД.
- Новый компонент ПО «Витрина данных» (далее – ПО ВД) – Агент проверок.
- Типовое программное обеспечение управления данными «АРМ Датастюарда» (далее - АРМ ДС).
Помимо этого, разработаны спецификации OPEN API для работы АРМ ДС и ПО ВД через СМЭВ4 по регламентированным запросам (РЗ) типа REST.
Проверки качества данных 2.0 в ЕИП НСУД
Единая информационная платформа национальной системы управления данными (ЕИП НСУД) дополнена разделом КАЧЕСТВО ДАННЫХ/Проверки 2.0 (Рисунок 2).
Рисунок 2. Проверки качества данных 2.0 в ЕИП НСУД
Как работать с проверками в ЕИП НСУД, описано в Инструкции по работе в ЕИП НСУД, раздел «Проверки качества данных 2.0».
АРМ ДС
АРМ ДС представляет собой механизм контроля качества данных, размещённых в Витрине данных, через СМЭВ.
Основные возможности АРМ ДС:
- просмотр реестра проверок качества данных;
- просмотр журнала с результатами проверок качества данных;
- просмотр агрегированной статистики качества данных;
- просмотр атрибутов записи основной таблицы, не прошедших проверку;
- выгрузка ошибок для последующего проведения работы над улучшением качества данных в Витрине или системе Поставщика;
- дополнительная диагностика через направление произвольных запросов.
При этом АРМ ДС может работать вне контура, в котором установлено ПО ВД, что позволяет управлять качеством данных, не имея доступа к контуру Витрины.
Подробнее о работе с АРМ ДС в Руководстве пользователя. Также интерфейс в части работы с инцидентами представлен в статье Работа с инцидентами качества данных.
Агент проверок
Агент проверок – новый компонент ПО ВД, который выступает посредником между другими компонентами Витрины и ЕИП НСУД, взаимодействуя с ЕИП НСУД через СМЭВ4, и выполняет проверки качества.
Функции Агента проверок :
1. В рамках взаимодействия с ЕИП НСУД:
- принимает через СМЭВ4 информацию о зарегистрированных, обновленных или удаленных проверках, расписание и правила заведения инцидентов;
- передаёт через СМЭВ4 информацию о статистике и о необходимости заведения построчных инцидентов.
2. В рамках работы с компонентами Витрины:
- сохраняет, обновляет, архивирует полученные проверки, расписание и правила заведения инцидентов в БД Витрины;
- для осуществления проверок на точность с внешним источником ЕРН – отправляет и принимает проверки в ЕРН через СМЭВ3-адаптер.
3. Непосредственно запускает выполнение проверок и сбор агрегированной статистики по ошибкам.
Чек-лист для начала работы с Проверками качества данных 2.0
Для того чтобы начать использовать новый функционал проверок для управления качеством данных, при условии наличия Витрины, работающей через СМЭВ4, Поставщику необходимо выполнить ряд шагов. Шаги 1-5 обязательны для работы любых типов проверок, шаги 6-8 нужны только для реализации проверки на точность с внешним источником ЕРН, шаг 9 только с внешним источником ЕСНСИ.
ШАГ 1. Предварительные действия в ЕИП НСУД
Агент проверок и АРМ ДС взаимодействуют с ЕИП НСУД и ПО ВД через регламентированные запросы типа REST.
Для совершения таких типов обменов РЗ должны быть зарегистрированы в СМЭВ4, взаимодействующие системы должны иметь доступ к этим РЗ.
Внимание!
Выдача доступов и регистрация этих РЗ происходит автоматически при выполнении предварительных действий, описанных в п. "Проверки качества данных 2.0" Инструкции ЕИП НСУД.
РЗ, используемые для работы компонентов Качества 2.0:
1) РЗ «Спецификация ПКЧ ФГИС ЕИП НСУД» (pkch/api/v3) – для получения проверок Чек-адаптером и передачи Чек-адаптером информации о статистике в ЕИП НСУД.
2) РЗ «Спецификация ПУЭ ФГИС ЕИП НСУД» (/pue/api/v3). – для передачи Чек-адаптером информации о необходимости заведения построчных инцидентов ЕИП НСУД.
3) Служебная спецификация ЕИП НСУД или (для версий АРМ ДС ниже 1.1.0) РЗ со спецификацией /api/v1/datamarts, зарегистрированный от имени Агента-Поставщика Витрины – для взаимодействия АРМ ДС с ПО ВД.
4) Служебная спецификация ЕИП НСУД или (для более ранних версий АРМ ДС) РЗ со спецификацией /dqf, зарегистрированный от имени Агента-Поставщика Витрины - для работоспособности функционала тестирования проверок качества данных.
Примечание
Если используется версия АРМ ДС ниже 1.1.0, то РЗ /api/v1/datamarts необходимо зарегистрировать самостоятельно через ЛК УВ. При создании РЗ укажите систему Поставщика вашей Витрины, наименование "Cпецификация АРМ Датастюарда для получения результатов проверок качества данных", urn "/api/v1/datamarts" и приложите спецификацию из архива. После регистрации РЗ, нужно получить к нему доступ от имени системы, указанной в Агенте СМЭВ4, используемом АРМ ДС. Как регистрировать РЗ типа REST и получать к нему доступ описано в Руководстве пользователя ЛК УВ.
ШАГ 2. Установка и настройка Агента проверок
Агент проверок поставляется в составе ПО ВД. Его необходимо установить и настроить заполнив конфигурационный файл application.yml, согласно документации.
Примечание
В Prostore должны быть настроены PUSH-уведомления в соответствии с тем, как указано в руководстве по установке ПО.
ШАГ 3. Настройка Агента СМЭВ4 и NGINX
Агент СМЭВ4 должен быть настроен на работу с api-gateway. При этом запросы, полученные через СМЭВ4, должны распределяться между компонентами Prostore и Агент проверок.
Для этого рекомендуем поставить и настроить NGINX.
В конфигурации Агента за работу с api-gateway отвечает одноименный блок, необходимо его заполнить.
Подробнее о настройках Агента СМЭВ4 и NGINX в статье Часто-задаваемые вопросы. Качество данных 2.0
ШАГ 4. Установка и настройка АРМ ДС
Установка и настройка АРМ ДС выполняется в соответствии с Руководством администратора ТПО УД.
О том, как работать с АРМ ДС, читайте в Руководстве пользователя ТПО УД.
Шаг 5. Создание и согласование проверок в ЕИП НСУД
Работа с проверками в ЕИП НСУД описана в Инструкции по работе в ЕИП НСУД, раздел «Проверки качества данных 2.0»
Важно!
Обращайте внимание на правила оформления SQL-запросов, описанные в Инструкции по работе в ЕИП НСУД. Например, при реализации проверки качества типа «Консистентность» в SQL-запросе необходимо обращение к первичному ключу указывать как @PARAM_KEYS (п. 4.10.2.6).
При создании проверки обратите внимание на подсказки в интерфейсе ЕИП НСУД (Рисунок 3).
Рисунок 3. Справочная информация при создании проверки в ПКЧ 2.0
Примечания
· Для работы с проверками качества в ЕИП НСУД пользователям должны быть назначены роли:
- Аналитик качества – для создания проверок;
- Ответственный за качество данных – для отправки проверок на согласование оператору ЕИП НСУД.
Данные роли необходимо запросить через СЦ, согласно инструкции.
· Роль "инженера данных" позволяет редактировать yaml и sql в проверках 2.0 с типом "консистентность". Для получения роли сотрудник должен обладать достаточными компетенциями для написания sql-запросов и правки yaml-конфигураций. Для получения данной роли в описании заявки в СЦ необходимо указать должность и обоснования потребности в данной роли.
· Если в проверке участвует только одна таблица, используйте режим работы «По загрузке». Это будет эффективнее с точки зрения использования ресурсов ПО ВД. · Обратите внимание, что при настройке проверки с видом «Блокирующая (построчный инцидент)» будет создаваться инцидент на каждую ошибку. Если ошибок ожидается много, лучше использовать проверку с видом «пороговый инцидент».
Важно!
При создании проверок обратите внимание на то, что запрос (select) должен возвращать ОШИБОЧНЫЕ данные, а не качественные.
Следующие шаги (6 – 8) необходимы для реализации проверок на точность с внешним источником ЕРН.
Проверка, которая позволяет сопоставить данные Витрины с единым федеральным информационным регистром, содержащем сведения о населении Российской Федерации (ЕРН), предусматривает взаимодействие через СМЭВ3, что требует выполнения дополнительных шагов для ее реализации.
ШАГ 6. Получение доступа к виду сведений
Данный шаг обязателен только для реализации проверки на точность с внешним источником ЕРН.
Работа Адаптера СМЭВ3 с системой ЕРН осуществляется по виду сведений (ВС) «Предоставление сведений о номере записи федерального регистра сведений о населении». Соответственно, у системы, настроенной в Адаптере, должен быть доступ к этому ВС в качестве Инициатора.
Как получить доступ к ВС, описано в Руководстве пользователя ЛК УВ, п. 5.3.
Примечание
Обмен по данному ВС осуществляется по схеме транспорта 1.3.
ШАГ 7. Настройка компонентов ПО ВД
Данный шаг обязателен только для реализации проверки на точность с внешним источником ЕРН.
В ПО ВД должен быть установлен СМЭВ3-адаптер и настроен Агент проверок.
СМЭВ3-адаптер можно установить отдельно или в составе ПО ВД (версия выше 2.1.0) и настроить согласно тому, как указано в документации ПО ВД.
В настройках конфигурации Агента проверок необходимо указать параметры обращения к СМЭВ3-адаптеру: ADAPTER_NG_HTTP_URL (см. ШАГ 8).
Примечание
СМЭВ3-адаптер в общем случае для приведения форматов использует pebble-шаблоны, которые необходимо создавать самостоятельно. Но для реализации проверки на точность с внешним источником ЕРН соответствие полей таблицы и СМЭВ3-конверта определяется в ЕИП НСУД (Инструкция ЕИП НСУД, п. Реализация проверки качества для типа «Точность» – «ЕРН»).
ШАГ 8. Установка и настройка Адаптера СМЭВ3
Данный шаг обязателен только для реализации проверки на точность с внешним источником ЕРН.
Дистрибутивы и руководства по установке, настройке и работе с Адаптером СМЭВ3 расположены в разделе «Документы ПО для Участников СМЭВ» документации на портале ЕСКС.
Примечание
Если у Поставщика уже установлен и используется Адаптер СМЭВ3, то необходимо только настроить в нём новый ВС.
ШАГ 9. Доступ к РЗ для сверок с ЕСНСИ
Данный шаг обязателен только для реализации проверки на точность с внешним источником ЕСНСИ.
Проверка на точность с внешним источником единой системой нормативной справочной информации (ЕСНСИ) выполняется через СМЭВ4 по РЗ типа REST «Витрина данных ЕСНСИ» (мнемоника РЗ: /smevql/api/v1 с мнемоникой системы-Поставщика: MNSV20 ). Необходимо получить доступ к этому РЗ от имени вашей системы, которая настроена в Агенте СМЭВ4, связанного с проверяемой Витриной.
Важно!
Важно проверить наличие на Витрине ЕСНСИ справочника, с которым будет выполняться сверка. Если такого справочника нет, то заявку на его публикацию можно подать через ФГИС "Ситуационный центр электронного правительства" (СЦ) в свободной форме с соответствующим запросом.
Как проверить работу ПКЧ 2.0?
О том, что все компоненты установлены и настроены корректно, свидетельствуют следующие факторы:
1) Проверка имеет статус «Активна» в ЕИП НСУД. Это означает, что Агент проверок настроен, получил, сохранил и выполняет проверку.
2) Журнал проверки в ЕИП НСУД наполняется с периодичностью, настроенной в параметрах исполнения Проверки для конфигурации Агента проверок (по умолчанию – один раз в сутки). Это означает, что Агент проверок работает корректно.
3) В АРМ ДС отображаются проверки, созданные в ЕИП НСУД, статистика и найденные ошибки (согласно РП ТПО УД).
Примечание
АРМ ДС обновляет список проверок в соответствии с актуальными из ЕИП НСУД в тот момент, когда пользователь открывает вкладку «Реестр проверок».
4) В ЕИП НСУД появляются инциденты, если были зарегистрированы проверки вида «Блокирующая (пороговый или построчный инцидент)».
О работе с инцидентами в статье "Работа с инцидентами качества данных". Для ознакомления с функционалом также рекомендуем к просмотру запись вебинара «Качество 2.0»
Более подробную информацию о сведениях, изложенных в указанной статье, можно получить в обучающем видеоматериале.
