Подключение сетевого LVM-хранилища

Вы можете подключить к кластеру сетевое LVM-хранилище. Перед этим настройте сеть хранения данных (SAN) и подключите хранилище к узлам кластера в качестве блочного устройства. Подробнее см. в статье Предварительная настройка SAN.

Краткая информация об LVM

LVM (Logical Volume Manager) — подсистема, позволяющая использовать разные области одного жёсткого диска и/или области с разных жёстких дисков, как один логический том. Размер файловых систем логических томов не ограничивается одним диском, так как том может располагаться на разных дисках и разделах.

Основные обозначения LVM:

• физические тома (PV, Physical Volume) — разделы дисков или целые "неразбитые" диски;
• группа томов (VG, Volume Group) — набор физических томов PV, объединённый в группу, которая составляет единый диск;
• логические разделы (LV, Logical Volume) — разделы, созданные на физическом пространстве группы томов VG.

LVM-хранилище поддерживает один формат образа виртуальных дисков — RAW. Подробнее об LVM см. в официальной документации.

В VMmanager LVM-хранилище используется только для хранения дисков виртуальных машин (ВМ). Каждый диск хранится в отдельном LV с именем формата "<vm_id>_<vm_name>".

Настройка multipath

Multipath — это технология подключения узлов сети хранения данных с использованием нескольких маршрутов. В случае отказа одного из контроллеров, операционная система будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку. Multipath-устройства объединяются в одно с помощью специализированного программного обеспечения.

Чтобы настроить multipath:

1. Установите ПО multipath-tools:

   Ubuntu, Astra Linux

   apt install -y multipath-tools
   

   AlmaLinux

   dnf install device-mapper-multipath

2. В конфигурационном файле /etc/multipath.conf измените значение user_friendly_names на no:

   user_friendly_names no
   

3. Перезапустите сервис multipathd:

   systemctl restart multipathd
   

4. На каждом узле хранилища объедините все подключения диска в одно мультиканальное:

   multipath /dev/sdX
   

   Пояснения к команде

   /dev/sdX — устройство для первого диска. Например, /dev/sda

5. Команда multipath сгруппирует все пути в одно маппер-устройство. Чтобы посмотреть список сгруппированных устройств, выполните команду:

   multipath -ll
   

   Это устройство будет иметь одинаковый идентификатор на всех узлах.

   Пример вывода

   root@node1:~# multipath -ll
   36589cfc0000008af95b3633c714c5c57 dm-0 TrueNAS,iSCSI Disk
   size=550G features='0' hwhandler='1 alua' wp=rw
   `-+- policy='service-time 0' prio=50 status=active
     `- 2:0:0:0 sda 8:0 active ready running

6. На каждом узле хранилища добавьте в конфигурационный файл LVM /etc/lvm/lvm.conf в блок devices {...} фильтр:

   filter = [ "a|/dev/mapper/.*|", "r|.*|" ]
   

   
   

   Если системный диск использует LVM, добавьте его в фильтр:

   Пример конфигурации для /dev/sda

   filter = [ "a|/dev/mapper/.*|", "a|/dev/sda|", "r|.*|" ]
   

   
   

7. Проверьте корректность фильтра и конфигурации командой:

   vgs
   

   
   

   Если всё настроено правильно, список VG в выводе команды не должен содержать ошибок.

Подключение хранилища

Чтобы подключить хранилище, перейдите в Кластеры → выберите кластер → Меню →  Сетевые хранилища:

1. Нажмите Добавить хранилище → Добавить сетевое хранилище → SAN.
2. Укажите его настройки:
   1. Название.
   2. Теги хранилища. Подробнее см. в статье Выбор хранилища для дисков ВМ.

   3. Путь до блочного устройства. Например, /dev/sdb. 

      Если при настройке SAN вы использовали UUID или WWID для подключения таргета, то вместо пути к блочному устройству укажите путь UUID или WWID:

      • для UUID: /dev/disk/by-uuid/<UUID_iSCSI-устройства>;
      • для WWID: /dev/disk/by-id/<WWID_iSCSI-устройства>.
3. Нажмите Добавить.

VMmanager автоматически настроит LVM-хранилище на блочном устройстве: создаcт PV и VG. Если на блочном устройстве была создана VG, хранилище не будет подключено.