Войти
Назад

Типовые вопросы по эксплуатации Витрины данных

link
Скопировать прямую ссылку на статью

1. После обновления перестала отображаться структура в DBeaver

После обновления витрины повышается версия ядра ProStore (компонент query-execution). И для работы с новым ядром необходимо обязательно обновлять и JDBC-драйвер, с помощью которого осуществляете подключение.

Актуальная версия драйвера всегда находится в директории: 

/home/datamart/jdbc/

Как создавать подключения в приложении DBeaver можно прочитать в статье Установка и настройка Dbeaver для работы с витриной данных Лайт.

2. Каким стандартным запросом можно проверить работоспособность витрины?

Для проверки работоспособности витрины можно выполнить запрос:
 CHECK_VERSIONS()

  Запрос возвращает версии ядра ProSrore, СУБД и коннекторов.

рис. 1 Результат выполнения запроса CHECK_VERSIONS().png

Рисунок 1 - Результат выполнения запроса CHECK_VERSIONS().

3. При загрузке через CSV-uploader один из файлов выдает ошибку: Поле 'type' не найдено в метаданных таблицы 'testdb.testtbl'

рис. 2 Ошибка при загрузке файла.png

Рисунок 2 - Ошибка при загрузке файла.

В загружаемом файле сбилась кодировка. Необходимо пересохранить файл с кодировкой UTF8 без BOM.

Для загрузки данных через CSV-uploader, рекомендуется предварительно выгружать файл-шаблон:

рис. 3 Выгрузка шаблона CSV.png
Рисунок 3 - Выгрузка шаблона CSV.

4. При загрузке через CSV-uploader один из файлов выдает ошибку: Некорректный файл, в модели 3 указано полей, в csv 9 указано полей.

рис. 4 Ошибка при загрузке файла.png
Рисунок 4 - Ошибка при загрузке файла.


Причин такой ошибка как правило две:
  1. Разное количество полей. Необходимо проверить структуру таблиц и загружаемого файла. Т.е. должно быть одинаковое количество столбцов в БД и в загружаемом файле.
  2. Символ разделителя полей используется в тексте одного поля. Необходимо проверить символ разделителя полей в самом файле и в настройке CSV-uploader в параметре CSV_PARSER_SEPARATOR. Они должны совпадать. Соответственно, этот символ должен использоваться только для разделения и не использоваться в пунктуации.

5. Попытка залить схему в витрину через CSV-uploader завершилась ошибкой: Ошибка генерации таблиц по XML [java.lang.IllegalStateException: java.sql.SQLException: java.sql.SQLException: Error executing query [create table testdb2.testtbl2 (Id VARCHAR, lastname VARCHAR, birthdate TIMESTAMP, SNILS VARCHAR]]

Необходимо добавить первичные ключи в XML-схему данных. Перед заливкой новой структуры необходимо удалить старую. Например, в приложении DBeaver, выполнив запрос:

 DROP DATABASE testdb2 

6. Как пересоздать контейнер в Portainer? Поменяли конфигурации адаптера и теперь ничего не работает.

Для пересоздания контейнера в Portainer необходимо выполнить несколько шагов:
1. Остановить контейнер путем нажатия кнопки Stop 

рис. 5.png
Рисунок 5 - Выбор действия Stop в меню управления контейнером.


2. Нажать кнопку Recreate 

рис. 6.png
Рисунок 6 - Выбор действия Recreate в меню управления контейнером.


3. В открывшемся окне перевести «Pull latest image» в положение Вкл., и нажать кнопку Recreate.

рис. 7.png
Рисунок 7 - Окно пересоздания контейнера.


4.  Нажать кнопку Start для запуска контейнера 

рис. 8.png
Рисунок 8 - Выбор действия Start в меню управления контейнером.


7. В каком порядке корректнее производить остановки-старта контейнеров?

Рекомендуемый порядок Остановки контейнеров:

  1. <логирование + мониторинг> - не имеет значения в какой последовательности.
  2. podd-adapter-*
  3. csv-uploader
  4. query-execution
  5. status-monitor
  6. kafka-postgres-writer
  7. kafka-postgres-reader
  8. PostgreSQL
  9. Kafka
  10. Zookeeper

Запуск контейнеров необходимо производить в обратном порядке, т.е. начиная с Zookeeper.

рис. 5 Остановка и Запуск контейнера.png
Рисунок 9 - Остановка и запуск контейнера.


8. Каким образом увеличить количество буферной памяти для обеспечения работоспособности больших выборок из СУБД ADP?

Необходимо изменить значения настройки shared_buffers.

Например:

1.     Проверяем текущее значение параметра: 


docker exec postgres psql -U dtm -c 'SHOW shared_buffers;' test

			







 рис. 10.png

	 Рисунок 10 - Выполнение проверки текущего значения параметра.


 

 2.     Корректируем параметр через терминал:  




	
 docker exec postgres psql -U dtm -c 'ALTER SYSTEM SET shared_buffers = "4GB";' test

			





 

	 3.     Перезапускаем postgres: 








	
  docker restart postgres

			





 

	 4.     Проверяем значение установленного параметра: 









	
 docker exec postgres psql -U dtm -c 'SHOW shared_buffers;' test
	







 рис. 11.png

	 Рисунок 11 - Выполнение проверки значения установленного параметра.







9. Агент ПОДД не видит витрину

 При установке витрины, либо после установки в параметрах модулей с названием podd-adapter-* обязательно указать в значении podd_kafka_topic_prefix - префикс витрины с ТОЧКОЙ! после имени. 

 Например:

 podd_kafka_topic_prefix: "мнемоника_витрины."

 

 

 
											

				

			

		

	

        
    

    
                    

                                    

                        
                            Авторизуйтесь,
                            чтобы оставить комментарий к статье