Войти

Инфраструктура для внедрения витрины данных

В разделе приведены рекомендации по аппаратному и программному обеспечению, а также необходимая конфигурация сети для оптимального баланса между производительностью и стабильностью работы всех компонентов витрины данных конфигурации установки Стандарт.  Указанные рекомендации по серверному оборудованию показывают наиболее полную комплектацию модулей и компонентов витрины данных конфигурации установки Стандарт.


Серверное оборудование


Рекомендованные требования к серверному оборудованию приведены в Таблице 1 Таблица 1. Рекомендуемые требования к серверному оборудованию (при высокой загрузке порядка 100 – 150 запросов в секунду).

Сервер

Количество

CPU

RAM.ГБ

Data storage.ТБ

Назначение

Arenadata DB (ADB)

1

8

31

100

master

2

8

31

1000

сегмент

Arenadata QuickMarts (ADQM)

2

4

16

50

Yandex ClickHouse

1

2

8

100

коннектор

1

2

8

100

Apache ZooKeeper

Arenadata Cluster Manager (ADCM)

1

4

16

200

Оркестратор

Arenadata Grid (ADG)

2

4

12

50

Tarantool

Prostore

1

4

8

50

Сервис исполнения запросов

1

4

8

50

Сервис мониторинга статусов Kafka

Arenadata Streaming (ADS)

1

4

4

50

Apache ZooKeeper

Arenadata Streaming (ADS)

2

4

4

1000

Apache Kafka

СМЭВ3-адаптер

1

4

8

80

Взаимодействие со СМЭВ 3

ПОДД-адаптер Модуль исполнения запросов

2

4

8

20

Взаимодействие со СМЭВ 3

ПОДД-адаптер- Модуль MPPR

2

4

8

20

Обработка входящих запросов

ПОДД-адаптер- Модуль MPPW

2

4

16

20

Обработка исходящих запросов

ПОДД-адаптер- Модуль импорта ТП

2

2

4

20

ПОДД-адаптер- Модуль Группировки данных ТП

2

2

4

20

ПОДД-адаптер- Модуль Группировки репликаций

2

2

4

20

ПОДД-адаптер- Модуль репликаций

2

2

4

20

ПОДД-адаптер- Wrapper

2

4

32

200

BLOB- адаптер

2

4

16

20

BLOB- адаптер

Сервис формирования документов

2

2

8

20

REST-адаптер

1

2

4

20

REST-адаптер

ETL

1

16

32

1000

Apache Hadoop

1

16

32

50

Apache Spark (master)

2

16

32

50

Apache Spark (worker)

1

4

16

100

Apache Airflow (master)

1

4

16

100

Apache Airflow (worker)

1

16

32

1000

Vinyl Tarantool СУБД ETL

Мониторинг и администриров вание (установка опциональна)

1

8

16

1000

Grafana

1

8

16

1000

Prometheus

1

8

16

1000

Graylog

1

8

16

1000

МongoDB

3

24

24

1000

Elasticsearch (master)

3

32

32

1000

Elasticsearch (data)

3

32

32

1000

Filebeat

3

32

32

1000

Node Exporter

Итого контур


Программное обеспечение

Таблица 2. Минимальный состав программных средств.

Название

Версия

Описание

Операционная система

7.9

CentOS, Альт 8 SP

Docker

20.10.2

Программное обеспечение для автоматизации развёртывания и управления приложениями


Требования к каналам связи

К каналам связи сервера, на котором будет установлена витрина, предъявляются следующие требования:

  • пропускная способность 100 Мбит/сек с протоколами TCP/IP и UDP;
  • отсутствие ПО, блокирующего или замедляющего трафик.

К каналам связи, используемым для взаимодействия с клиентскими сетями Ведомства, предъявляются следующее требование - пропускная способность 10 Мбит/сек с протоколами TCP/IP и UDP.

Необходимо учитывать процент свободных ресурсов оборудования и пиковые нагрузки.

Авторизуйтесь, чтобы оставить комментарий к статье