Вы можете подключить к кластеру сетевое LVM-хранилище. Перед этим настройте сеть хранения данных (SAN) и подключите хранилище к узлам кластера в качестве блочного устройства. Подробнее см. в статье Предварительная настройка SAN.
Краткая информация об LVM
LVM (Logical Volume Manager) — подсистема, позволяющая использовать разные области одного жёсткого диска и/или области с разных жёстких дисков, как один логический том. Размер файловых систем логических томов не ограничивается одним диском, так как том может располагаться на разных дисках и разделах.
Основные обозначения LVM:
- физические тома (PV, Physical Volume) — разделы дисков или целые "неразбитые" диски;
- группа томов (VG, Volume Group) — набор физических томов PV, объединённый в группу, которая составляет единый диск;
- логические разделы (LV, Logical Volume) — разделы, созданные на физическом пространстве группы томов VG.
LVM-хранилище поддерживает один формат образа виртуальных дисков — RAW. Подробнее об LVM см. в официальной документации.
В VMmanager LVM-хранилище используется только для хранения дисков виртуальных машин (ВМ). Каждый диск хранится в отдельном LV с именем формата "<vm_id>_<vm_name>".
Настройка multipath
Multipath — это технология подключения узлов сети хранения данных с использованием нескольких маршрутов. В случае отказа одного из контроллеров, операционная система будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку. Multipath-устройства объединяются в одно с помощью специализированного программного обеспечения.
Чтобы настроить multipath:
-
Установите ПО multipath-tools:
Ubuntu, Astra Linuxapt install -y multipath-tools
AlmaLinuxdnf install device-mapper-multipath
-
В конфигурационном файле /etc/multipath.conf измените значение user_friendly_names на no:
user_friendly_names no
-
Перезапустите сервис multipathd:
systemctl restart multipathd
-
На каждом узле хранилища объедините все подключения диска в одно мультиканальное:
multipath /dev/sdX
Пояснения к команде -
Команда multipath сгруппирует все пути в одно маппер-устройство. Чтобы посмотреть список сгруппированных устройств, выполните команду:
multipath -ll
Это устройство будет иметь одинаковый идентификатор на всех узлах. Сохраните значение идентификатора. Оно понадобится при подключении хранилища.
Пример выводаroot@node1:~# multipath -ll 36589cfc0000008af95b3633c714c5c57 dm-0 TrueNAS,iSCSI Disk size=550G features='0' hwhandler='1 alua' wp=rw `-+- policy='service-time 0' prio=50 status=active `- 2:0:0:0 sda 8:0 active ready running
-
На каждом узле хранилища добавьте в конфигурационный файл LVM /etc/lvm/lvm.conf в блок
devices {...}
фильтр:filter = [ "a|/dev/disk/by-id/wwn-.*|", "r|.*|" ]
ПоясненияЕсли системный диск использует LVM, добавьте его в фильтр:
Пример конфигурации для /dev/sdafilter = [ "a|/dev/disk/by-id/wwn-.*|", "a|/dev/sda|", "r|.*|" ]
-
Проверьте корректность фильтра и конфигурации командой:
Если всё настроено правильно, список VG в выводе команды не должен содержать ошибок.vgs
Определение WWID блочного устройства
При подключении хранилища необходимо указать путь до блочного устройства. Для стабильной работы хранилища рекомендуем использовать путь с указанием WWID (WWN).
Чтобы определить WWID блочного устройства:
- если в хранилище настроен multipath, выполните команду:
udevadm info -q property /dev/mapper/<mapper_id> | grep WWN
Пояснения к командеПример вывода командыDM_WWN=0x600c0ff000fc5cb10b040e6701000000
- если в хранилище не настроен multipath, выполните команду:
udevadm info -q property <device> | grep -E 'ID_WWN_WITH_EXTENSION='
Пояснения к командеПример вывода командыID_WWN_WITH_EXTENSION=0x60014053aa5c2bc20ed4cf19d65e6437
Путь к устройству будет иметь вид /dev/disk/by-id/wwn-<WWID_устройства>. Например, /dev/disk/by-id/wwn-0x600c0ff000fc5cb10b040e6701000000.
Подключение хранилища
Чтобы подключить хранилище, перейдите в Кластеры → выберите кластер → меню → Сетевые хранилища:
- Нажмите Добавить хранилище → Добавить сетевое хранилище → SAN.
- Укажите его настройки:
- Название.
- Теги хранилища. Подробнее см. в статье Выбор хранилища для дисков ВМ.
- Путь до блочного устройства. Рекомендуем использовать путь с указанием WWID — /dev/disk/by-id/wwn-<WWID_устройства>.
- Нажмите Добавить.
VMmanager автоматически настроит LVM-хранилище на блочном устройстве: создаcт PV и VG. Если на блочном устройстве была создана VG, хранилище не будет подключено.