Как загружать данные в витрину?

Главной задачей Поставщика является своевременное наполнение свой Витрины качественными данными.

В настоящее время используются следующие способы загрузки данных:

1. Через ядро Витрины – компонент Prostore, при помощи удобного ETL-компонента, который могут самостоятельно создать разработчики на стороне Поставщика.

Актуальная документация по системе Prostore доступна по ссылке.

Этот способ является самым гибким при реализации интеграции, но требует дополнительных затрат на разработку. Также данный способ загрузки неприменим для Витрин, расположенных на платформе ГосТех.

2. С помощью типовых загрузчиков – компонентов ПО «Витрина данных»:

• CSV-uploader.
• REST-uploader.
• DTM-uploader.

Загрузка данных с помощью CSV-uploader не требует дополнительной разработки. Данные в виде файла формата CSV, подготовленного Поставщиком, загружаются через веб-интерфейс загрузчика. Такой способ подходит для нечастого обновления данных в Витрине.

Компоненты REST-uploader и DTM-uploader позволяют выполнять загрузку данных из файлов формата CSV (REST-uploader) или Avro (DTM-uploader) с помощью REST-методов. Использование этих загрузчиков позволяет автоматизировать добавление и обновление данных в Витрине с минимальными доработками системы-источника.

Выбор способа загрузки зависит от следующих условий:

• удобство интеграции компонентов системы Поставщика (выбора формата файлов для передачи);
• конфигурация Витрины данных;
• место расположения Витрины данных;
• задачи, которые решает Поставщик в СМЭВ4.

Так, например, для Витрин, расположенных на платформе ГосТех, загрузка данных доступна только с помощью типовых загрузчиков REST-uploader и DTM-uploader. При этом требуется получать токены для авторизации на платформе. Подробнее о загрузке данных в Витрину, расположенную на платформе ГосТех, читайте в статье Особенности работы с витринами на платформе Гостех.

Если вам удобна загрузка данных вручную, и она производится нечасто, то для Витрины, расположенной вне платформы ГосТех, можно остановить свой выбор на загрузчике CSV-uploader, имеющим пользовательский интерфейс.

Подробнее со всеми способами загрузки можно познакомиться, пройдя курс «Загрузка данных».

Для доступа к курсу:

1. Запишитесь в класс по ссылке: https://stepik.org/join-class/11e85922b4809a3490a3f71b00f77808bf5566e6.

2. Запишитесь на курс: https://stepik.org/course/220559.

Для выполнения практики в рамках курса команда СМЭВ предоставляет учащимся доступ к специально подготовленной тестовой Витрине. Наличие на вашей стороне собственной установленной Витрины будет преимуществом и позволит вам проработать больше практических сценариев.

Для данного курса создан чат поддержки учащихся: https://t.me/+S5KTJ45H4q5mNTAy.