Product SiteDocumentation Site

⁠26.5. FC/iSCSI SAN

Данная конфигурация предполагает, что узлы кластера имеют доступ к устройствам хранения (LUN), экспортируемым сервером сети хранения данных (SAN) по протоколам iSCSI или Fibre Channel (FC).
Соединение узла PVE с хранилищем называется путём. Если в подсистеме хранения данных существует несколько путей к устройству хранения данных (LUN), это называется многопутевым подключением (multipath). Необходимо использовать как минимум два выделенных сетевых адаптера для iSCSI/FC, использующих отдельные сети (и коммутаторы для защиты от сбоев коммутатора).
Основная цель многопутевого подключения (multipath) — обеспечить резервный доступ к устройству хранения данных. Еще одним преимуществом многопутевого доступа является увеличение пропускной способности за счет балансировки нагрузки. Типичным примером использования нескольких путей является добавление избыточности и получение максимальной производительности от устройства FC/iSCSI SAN.

Примечание

В данном разделе приведена общая информация. Для настройки конкретной системы хранения данных (СХД) следует обращаться к документации производителя.

⁠26.5.1. Подключение СХД

⁠26.5.1.1. Особенности подключения СХД по FC

Алгоритм подключения:
  1. Подготовить СХД (создать LUNы).
  2. Установить FC HBA и соответствующие драйверы на сервер.
  3. Настроить сетевое подключение.
  4. Подключить СХД к серверу.
  5. Настроить зональность (zoning) на коммутаторах FC, предоставив серверу доступ по его WWPN (World Wide Port Name).

Примечание

Глобальные имена портов (WWPN) можно определить с помощью утилиты systool из пакета sysfsutils.
Пакет sysfsutils необходимо установить из репозитория: 
# apt-get install sysfsutils
Чтобы найти WWPN, следует ввести следующую команду: 
# systool -c fc_host -A port_name
Class = "fc_host"
Class Device = "host1"
port_name = "0x10000090fa59a61a"
Device = "host1"
Class Device = "host16"
port_name = "0x10000090fa59a61b"
Device = "host16"
После подключения LUN будет виден как несколько блочных устройств (по одному на путь). Их можно проверить командой: 
# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 59G 0 disk
sdb 8:16 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdc 8:32 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdd 8:48 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sde 8:64 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
В этом примере один LUN объёмом ~931 ГБ доступен по четырём путям.

⁠26.5.1.2. Особенности подключения СХД по ISCSI

Для корректной работы в кластере необходимо, чтобы iSCSI-сессии устанавливались автоматически при загрузке. Сделать это можно, установив для параметра node.startup значение automatic. Значение по умолчанию для параметра node.session.timeo.replacement_timeout составляет 120 секунд. Рекомендуется использовать значение — 15 секунд.
Эти параметры можно указать в файле в /etc/iscsi/iscsid.conf (по умолчанию). Если iSCSI target уже подключен, то необходимо изменить настройки по умолчанию для конкретной цели в файле /etc/iscsi/nodes/<TARGET>/<PORTAL>/default.
На всех узлах PVE необходимо:
  1. Установить пакет open-iscsi, запустить и добавить в автозагрузку сервис iscsid: 
    # apt-get install open-iscsi
# systemctl enable --now iscsid
  2. Указать следующие параметры в файле /etc/iscsi/iscsid.conf: 
    node.startup = automatic
node.session.timeo.replacement_timeout = 15
  3. Присоединить iSCSI-хранилище к кластеру: 
    # iscsiadm -m discovery -t sendtargets -p <iscsi-target-1-ip>
# iscsiadm -m discovery -t sendtargets -p <iscsi-target-2-ip>
# iscsiadm -m node --login
  4. Настроить автоматическое подключение iSCSI-target-ов. Для этого необходимо поменять следующие параметры:
    • в файле /etc/iscsi/iscsid.conf: 
      node.startup = automatic
    • в файлах /var/lib/iscsi/send_targets/<TargetServer>,<Port>/st_config: 
      discovery.sendtargets.use_discoveryd = Yes
  5. После перезагрузки LUN должен быть виден через lsblk — аналогично FC-примеру: 
    # lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 59G 0 disk
sdb 8:16 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdc 8:32 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdd 8:48 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sde 8:64 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath

Примечание

Примеры использования команды iscsiadm:
  • отключить хранилище (отключить все цели): 
    # iscsiadm -m node --logout
  • отключить только определенную цель: 
    # iscsiadm -m node --targetname "iscsi-target-1.test.alt:server.target1" --logout
  • переопросить устройства на ISCSI: 
    # iscsiadm -m node -R
  • посмотреть все текущие подключения iSCSI: 
    # iscsiadm -m session