39.4.16. FC/iSCSI SAN

⁠39.4.16. FC/iSCSI SAN

Данная конфигурация предполагает, что узлы кластера имеют доступ к устройствам хранения (LUN), экспортированным сервером сети хранения данных (SAN) с использованием протоко-ла iSCSI или Fibre Channel (FC).

Соединение узла PVE к хранилищу называется путем. Если в подсистеме хранения данных существует несколько путей к устройству хранения данных (LUN), это называется многопутевым подключением (multipath). Необходимо использовать как минимум два выделенных сетевых адаптера для iSCSI/FC, использующих отдельные сети (и коммутаторы для защиты от сбоев коммутатора).

Основная цель многопутевого подключения (multipath) — обеспечить резервный доступ к устройству хранения данных. Еще одним преимуществом многопутевого доступа является увеличение пропускной способности за счет балансировки нагрузки. Типичным примером использования нескольких путей является добавление избыточности и получение максимальной производительности от устройства FC/iSCSI SAN.

Примечание

В данном разделе приведена общая информация. Для получения информации о настройках конкретной СХД следует обратиться к документации производителя хранилища.

⁠39.4.16.1. Подключение СХД

⁠39.4.16.1.1. Особенности подключения СХД по FC

Алгоритм подключения:

Подготовить СХД (создать LUNы).
На сервере установить FC HBA, драйверы к ним.
Настроить сетевое подключение.
Подключить СХД к серверу.
Предоставить серверу доступ к СХД по WWPN.

Примечание

Для того чтобы узнать глобальные имена портов (WWPN), можно воспользоваться утилитой systool из пакета sysfsutils.

Пакет sysfsutils необходимо установить из репозитория:

# apt-get install sysfsutils

Чтобы найти WWPN, следует ввести следующую команду:

# systool -c fc_host -A port_name
Class = "fc_host"
Class Device = "host1"
port_name = "0x10000090fa59a61a"
Device = "host1"
Class Device = "host16"
port_name = "0x10000090fa59a61b"
Device = "host16"

Просмотреть список подключенных устройств можно, например, выполнив команду:

# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 59G 0 disk
sdb 8:16 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdc 8:32 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdd 8:48 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sde 8:64 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath

В данном примере один LUN на 1000GB виден по четырем путям.

⁠39.4.16.1.2. Особенности подключения СХД по ISCSI

Все необходимые соединения iSCSI должны запускаться во время загрузки узла. Сделать это можно, установив для параметра node.startup значение automatic. Значение по умолчанию для параметра node.session.timeo.replacement_timeout составляет 120 секунд. Рекомендуется использовать значение — 15 секунд.

Эти параметры можно указать в файле в /etc/iscsi/iscsid.conf (по умолчанию). Если iSCSI target уже подключен, то необходимо изменить настройки по умолчанию для конкретной цели в файле /etc/iscsi/nodes/<TARGET>/<PORTAL>/default.

На всех узлах PVE необходимо:

Установить пакет open-iscsi, запустить и добавить в автозагрузку сервис iscsid:
```
# apt-get install open-iscsi
# systemctl enable --now iscsid
```
Указать следующие параметры в файле /etc/iscsi/iscsid.conf:
```
node.startup = automatic
node.session.timeo.replacement_timeout = 15
```

Присоединить iSCSI хранилище к кластеру:

# iscsiadm -m discovery -t sendtargets -p <iscsi-target-1-ip>
# iscsiadm -m discovery -t sendtargets -p <iscsi-target-2-ip>
# iscsiadm -m node --login

Настроить автоматическое подключение iSCSI-target-ов. Для этого необходимо поменять следующие параметры:
- в файле /etc/iscsi/iscsid.conf:
  node.startup = automatic
- в файлах /var/lib/iscsi/send_targets/<TargetServer>,<Port>/st_config:
  discovery.sendtargets.use_discoveryd = Yes

После перезагрузки должны появиться подключенные устройства:

# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 59G 0 disk
sdb 8:16 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdc 8:32 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdd 8:48 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sde 8:64 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath

В данном примере один LUN на 1000GB виден по четырем путям.

Примечание

Примеры использования команды iscsiadm:

отключить хранилище (отключить все цели):
```
# iscsiadm -m node --logout
```

отключить только определенную цель:

# iscsiadm -m node --targetname "iscsi-target-1.test.alt:server.target1" --logout

переопросить устройства на ISCSI:
```
# iscsiadm -m node -R
```
посмотреть все текущие подключения iSCSI:
```
# iscsiadm -m session
```

⁠39.4.16.2. Настройка Multipath

Многопутевой ввод-вывод (Multipath I/O) — технология подключения узлов СХД с использованием нескольких маршрутов. В случае отказа одного из контроллеров, ОС будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку.

Multipath устройства объединяются в одно устройство с помощью специализированного ПО в новое устройство. Multipath обеспечивает выбор пути и переключение на новый маршрут при отказе текущего. Кроме того Multipath позволяет увеличить пропускную способность за счет балансировки нагрузки.

На всех узлах должен быть установлен пакет для multipath:

# apt-get install multipath-tools

И запущена служба multipathd:

# systemctl enable --now multipathd && sleep 5; systemctl status multipathd

⁠39.4.16.2.1. Конфигурация multipath

Примечание

Команда multipath используется для обнаружения и объединения нескольких путей к устройствам.

Некоторые параметры команды multipath:

-l — отобразить текущую multipath-топологию, полученную из sysfs и устройства сопоставления устройств;
-ll — отобразить текущую multipath-топологию, собранную из sysfs, устройства сопоставления устройств и всех других доступных компонентов системы;
-f device — удалить указанное multipath-устройство;
-F — удалить все неиспользуемые multipath-устройства;
-w device — удалить WWID указанного устройства из файла wwids;
-W — сбросить файл wwids, чтобы включить только текущие многопутевые устройства;
-r — принудительная перезагрузка multipath-устройства.

После подключения, устройство хранения данных должно автоматически определиться как multipath-устройство:

# multipath -ll
mpatha (3600c0ff00014f56ee9f3cf6301000000) dm-0 HP,P2000 G3 FC
size=931G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 1:0:0:1 sdb 8:16 active ready running
| `- 16:0:1:1 sde 8:64 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 1:0:1:1 sdc 8:32 active ready running
`- 16:0:0:1 sdd 8:48 active ready running

Вывод этой команды разделить на три части:

Информация о multipath-устройстве:
- mpatha (3600c0ff00014f56ee9f3cf6301000000): алиас
- dm-0: имя устройства dm
- HP,P2000 G3 FC: поставщик, продукт
- size=931G: размер
- features='1 queue_if_no_path': функции
- hwhandler='01 alua': аппаратный обработчик
- wp=rw: права на запись
Информация о группе путей:
- policy='service-time 0': политика планирования
- prio=50: приоритет группы путей
- status=active: статус группы путей
Информация о пути:
- 7:0:1:1: хост:канал:идентификатор:Lun
- sde: диск
- 8:80: номера major:minor
- active: статус dm
- ready: статус пути
- running: online статус

Для получения дополнительной информации об используемых устройствах можно выполнить команду:

# multipath -v3

Настройки multipath содержатся в файле /etc/multipath.conf:

defaults {
    find_multipaths         yes
    user_friendly_names     yes
}

Если для параметра user_friendly_names установлено значение no, то для имени multipath-устройства задается значение World Wide Identifier (WWID). Имя устройства будет /dev/mapper/WWID и /dev/dm-X:

# ls /dev/mapper/
3600c0ff00014f56ee9f3cf6301000000

# lsblk
NAME                                        MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                                           8:0    0    59G  0 disk
sdb                                           8:16   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath
sdc                                           8:32   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath
sdd                                           8:48   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath
sde                                           8:64   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath

Если для параметра user_friendly_names установлено значение yes, то для имени multipath-устройства задаётся алиас (псевдоним), в форме mpathХ. Имя устройства будет /dev/mapper/mpathХ и /dev/dm-X:

# ls /dev/mapper/
mpatha

# lsblk
NAME             MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                8:0    0    59G  0 disk
sdb                8:16   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath
sdc                8:32   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath
sdd                8:48   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath
sde                8:64   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath

Однако не гарантируется, что имя устройства будет одинаковым на всех узлах, использующих это multipath-устройство.

ОС при загрузке определяет пути к устройствам в изменяющейся среде выполнения (например, при новой загрузке в среде выполнения ОС появились новые устройства хранения или исчезли старые, и т.п.) по отношению к предыдущей загрузке или по отношению к заданной ранее конфигурации. Это может приводить к противоречиям при именовании устройств. Для того чтобы избежать такого поведения, рекомендуется:

Сделать явное исключение для устройства (раздела) хранения (например, для 3600c0ff00014f56ee9f3cf6301000000, которое в настоящее время определяется как /dev/mapper/mpatha). Для этого в файл /etc/multipath.conf добавить секции:
```
blacklist {
        wwid .*
}

blacklist_exceptions {
        wwid "3600c0ff00014f56ee9f3cf6301000000"
}
```
Данная настройка предписывается внести в черный список любые найденные устройства хранения данных, за исключением нужного.
Создать еще одну секцию:
```
multipaths {
  multipath {
        wwid "3600c0ff00014f56ee9f3cf6301000000"
        alias mpatha
  }
}
```
В этом случае устройство всегда будет доступно только по имени /dev/mapper/mpatha. Вместо mpatha можно вписать любое желаемое имя устройства.

Примечание

Получить WWID конкретного устройства можно, выполнив команду:

# /lib/udev/scsi_id -g -u -d /dev/sdb
3600c0ff00014f56ee9f3cf6301000000

Для устройств в одном multipath WWID будут совпадать.

В файл /etc/multipath.conf может также потребоваться внести рекомендованные производителем СХД параметры.

После внесения изменений в файл /etc/multipath.conf необходимо перезапустить службу multipathd для активации настроек:

# systemctl restart multipathd.service

Примечание

Проверить файл /etc/multipath.conf на наличие ошибок можно, выполнив команду:

# multipath -t

⁠39.4.16.3. Multipath в веб-интерфейсе PVE

Диски, подключенные по mulipath, можно увидеть в веб-интерфейсе PVE:

Поверх хранилища на базе iSCSI или FC можно использовать LVM или хранилище файлового типа (если нужны снапшоты).

⁠39.4.16.4. Файловые системы на multipath

На multipath-устройстве можно создать файловую систему (ФС) и подключить его как хранилище типа «Каталог» в PVE. Можно использовать любую ФС, но при использовании, например, ext4 или xfs, хранилище нельзя будет использовать как общее. Для возможности совместного использования хранилища необходимо использовать кластерную ФС.

Ниже показано создание кластерной ФС ocfs2 на multipath-устройстве и подключение этого устройства в PVE.

⁠39.4.16.4.1. Кластерная ФС ocfs2

На всех узлах кластера необходимо установить пакет ocfs2-tools:

# apt-get install ocfs2-tools

Примечание

Основной конфигурационный файл для OCFS2 — /etc/ocfs2/cluster.conf. Этот файл должен быть одинаков на всех узлах кластера, при изменении в одном месте его нужно скопировать на остальные узлы. При добавлении нового узла в кластер, описание этого узла должно добавлено быть на всех остальных узлах до монтирования раздела ocfs2 с нового узла.

Создание кластерной конфигурации возможно с помощью команд или с помощью редактирования файла конфигурации /etc/ocfs2/cluster.conf.

Пример создания кластера из трёх узлов:

В командной строке:

Создать кластер с именем mycluster:

# o2cb_ctl -C -n mycluster -t cluster -a name=mycluster

Добавить узелы, выполнив команду для каждого:

# o2cb_ctl -C -n <имя_узла> -t node -a number=0 -a ip_address=<IP_узла> -a ip_port=7777 -a cluster=mycluster

Редактирование конфигурационного файла /etc/ocfs2/cluster.conf:

cluster:
node_count = 3
heartbeat_mode = local
name = mycluster

node:
ip_port = 7777
ip_address = <IP_узла-01>
number = 0
name = <имя_узла-01>
cluster = mycluster

node:
ip_port = 7777
ip_address = <IP_узла-02>
number = 1
name = <имя_узла-02>
cluster = mycluster

node:
ip_port = 7777
ip_address = <IP_узла-03>
number = 2
name = <имя_узла-03>
cluster = mycluster

Примечание

Имя узла кластера должно быть таким, как оно указано в файле /etc/hostname.

Для включения автоматической загрузки сервиса OCFS2 можно использовать скрипт /etc/init.d/o2cb:

# /etc/init.d/o2cb configure

Для ручного запуска кластера нужно выполнить:

# /etc/init.d/o2cb load
checking debugfs...
Loading filesystem "ocfs2_dlmfs": OK
Creating directory '/dlm': OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
# /etc/init.d/o2cb online mycluster
checking debugfs...
Setting cluster stack "o2cb": OK
Registering O2CB cluster "mycluster": OK
Setting O2CB cluster timeouts : OK

Далее на одном из узлов необходимо создать раздел OCFS2, для этого следует выполнить следующие действия:

создать физический раздел /dev/mapper/mpatha-part1 на диске /dev/mapper/mpatha:
```
# fdisk /dev/mapper/mpatha
```

отформатировать созданный раздел, выполнив команду:

# mkfs.ocfs2 -b 4096 -C 4k -L DBF1 -N 3 /dev/mapper/mpatha-part1
mkfs.ocfs2 1.8.7
Cluster stack: classic o2cb
Label: DBF1
…
mkfs.ocfs2 successful

⁠

Таблица 39.4. Параметры команды mkfs.ocfs2

Параметр	Описание
`-L метка_тома`	Метка тома, позволяющая его однозначно идентифицировать при подключении на разных узлах. Для изменения метки тома можно использовать утилиту `tunefs.ocfs2`
`-C размер_кластера`	Размер кластера — это наименьшая единица пространства, выделенная файлу для хранения данных. Возможные значения: 4, 8, 16, 32, 64, 128, 256, 512 и 1024 КБ. Размер кластера невозможно изменить после форматирования тома
`-N количество_узлов_кластера`	Максимальное количество узлов, которые могут одновременно монтировать том. Для изменения количества узлов можно использовать утилиту `tunefs.ocfs2`
`-b размер_блока`	Наименьшая единица пространства, адресуемая ФС. Возможные значения: 512 байт (не рекомендуется), 1 КБ, 2 КБ или 4 КБ (рекомендуется для большинства томов). Размер блока невозможно изменить после форматирования тома

Примечание

Для создания нового раздела может потребоваться предварительно удалить существующие данные раздела на устройстве /dev/mpathX (следует использовать с осторожностью!):

# dd if=/dev/zero of=/dev/mapper/mpathX bs=512 count=1 conv=notrunc

⁠39.4.16.4.2. OCFS2 в PVE

На каждом узле PVE необходимо смонтировать раздел (например, в /mnt/ocfs2):

# mkdir /mnt/ocfs2
# mount /dev/mapper/mpatha-part1 /mnt/ocfs2

Для автоматического монтирования раздела следует добавить в файл /etc/fstab строку (каталог /mnt/ocfs2 должен существовать):

/dev/mapper/mpatha-part1 /mnt/ocfs2 ocfs2 _netdev,defaults 0 0

Выполнить проверку монтирования:

# mount -a

Результатом выполнения команды должен быть пустой вывод без ошибок.

Примечание

Опция _netdev позволяет монтировать данный раздел только после успешного старта сетевой подсистемы.

Примечание

Так как имя является символической ссылкой, в некоторых случаях (например, при смене порядка опроса устройств на шине ISCSI) она может меняться (указывая на иное устройство). Поэтому если для устройства хранения не используется алиас, рекомендуется производить автоматическое монтирование этого устройства (раздела) в файле /etc/fstab по его уникальному идентификатору, а не по имени /dev/mapper/mpatha:

UUID=<uuid> /<каталог> ocfs2 _netdev,defaults 0 0

Например, определить UUID uuid разделов:

# blkid
/dev/mapper/mpatha-part1: LABEL="DBF1" UUID="df49216a-a835-47c6-b7c1-6962e9b7dcb6" BLOCK_SIZE="4096" TYPE="ocfs2" PARTUUID="15f9cd13-01"

Добавить монтирование этого UUID в /etc/fstab:

UUID=df49216a-a835-47c6-b7c1-6962e9b7dcb6       /mnt/ocfs2     ocfs2 _netdev,defaults 0 0

Созданный раздел можно добавить как хранилище в командной строке:

# pvesm add dir mpath --path /mnt/ocfs2 --shared 1

или в веб-интерфейсе PVE (Центр обработки данных → Хранилище, нажать кнопку Добавить → Каталог):

⁠39.4.16.5. LVM/LVM-Thin хранилища на multipath

Примечание

multipath-устройство не отображается в веб-интерфейсе PVE LVM/LVM-Thin, поэтому потребуется использовать CLI.

Примечание

LVM при запуске сканирует все устройства на предмет поиска конфигурации LVM, и если настроен multipath-доступ, он найдет конфигурацию LVM как на (виртуальных) multipath-устройствах, так и на базовых (физических) дисках. Поэтому рекомендуется создать фильтр LVM для фильтрации физических дисков и разрешить LVM сканировать только multipath-устройства.

Сделать это можно, добавив фильтр в раздел device в файле /etc/lvm/lvm.conf, например:

filter = [ "a|/dev/mapper/|", "a|/dev/sda.*|", "r|.*|" ]

В данном примере принимаются только multipath-устройства и /dev/sda.*, все остальные устройства отклоняются:

a|/dev/mapper/| — принять устройства /dev/mapper;
a|/dev/sda.*| — принять устройство /dev/sda;
r|.*| — отклонить все остальные устройства.

Пример создания LVM на multipath:

Вывести список разделов /dev/mapper/mpatha:

# fdisk -l /dev/mapper/mpatha
Disk /dev/mapper/mpatha: 931.32 GiB, 999999995904 bytes, 1953124992 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 1048576 bytes
Disklabel type: dos
Disk identifier: 0x2221951e

Device Boot Start End Sectors Size Id Type
/dev/mapper/mpatha-part1 2048 1953124991 1953122944 931.3G 83 Linux

Создать физический том (PV) на /dev/mapper/mpatha-part1:

# pvcreate /dev/mapper/mpatha-part1
Physical volume "/dev/mapper/mpatha-part1" successfully created.

Создать группу томов (VG) с именем VG1:

# vgcreate VG1 /dev/mapper/mpatha-part1
Volume group "VG1" successfully created

Вывести информацию о физических томах:

# pvs
PV                       VG  Fmt  Attr PSize   PFree
/dev/mapper/mpatha-part1 VG1 lvm2 a--  931.32g 931.32g

⁠39.4.16.5.1. LVM-хранилище

Получить список доступных PVE групп томов:

# pvesm lvmscan
VG1

Список доступных PVE групп томов можно также увидеть в веб-интерфейсе:

Пример создания LVM хранилища с именем mpath-lvm:

# pvesm add lvm mpath-lvm --vgname VG1 --content images,rootdir

Пример создания LVM хранилища в веб-интерфейсе (Центр обработки данных → Хранилище, нажать кнопку Добавить → LVM):

⁠39.4.16.5.2. LVM-Thin хранилище

Создать тонкий пул LVM на multipath:

Вывести информацию о физических томах:

# pvs
  PV                       VG  Fmt  Attr PSize   PFree
  /dev/mapper/mpatha-part1 VG1 lvm2 a--  931.32g 931.32g

Вывести информацию о группах томов:

# vgs
  VG  #PV #LV #SN Attr   VSize   VFree
  VG1   1   0   0 wz--n- 931.32g 931.32g

Создать тонкий пул LVM (размер 100 ГБ) с именем vmstore:
```
# lvcreate -L 100G -T -n vmstore VG1
Logical volume "vmstore" created.
```

Получить список доступных PVE LVM-thin пулов в группе томов VG1:

# pvesm lvmthinscan VG1
vmstore

Список доступных PVE LVM-thin пулов можно также увидеть в веб-интерфейсе:

Пример создания LVM-Thin хранилища с именем mpath-lvmthin:

# pvesm add lvmthin mpath-lvmthin --thinpool vmstore --vgname VG1 --nodes pve01

Пример создания LVM-Thin хранилища в веб-интерфейсе (Центр обработки данных → Хранилище, нажать кнопку Добавить → LVM-Thin):

⁠39.4.16.6. Изменение размера multipath-устройства

Для изменения размера multipath-устройства необходимо:

Изменить размер физического устройства;

Определить пути к номеру логического устройства (LUN):

# multipath -l
mpatha (3600c0ff00014f56ee9f3cf6301000000) dm-0 HP,P2000 G3 FC
size=465G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=0 status=active
| |- 1:0:1:1  sdc 8:32 active undef running
| `- 16:0:1:1 sde 8:64 active undef running
`-+- policy='service-time 0' prio=0 status=enabled
|- 1:0:0:1  sdb 8:16 active undef running
`- 16:0:0:1 sdd 8:48 active undef running

Изменить размер путей, выполнив команду:
```
# echo 1 > /sys/block/<path_device>/device/rescan
```
Данную команду необходимо выполнить для каждого диска, входящего в multipath-устройство:
```
# echo 1 > /sys/block/sdb/device/rescan
# echo 1 > /sys/block/sdc/device/rescan
# echo 1 > /sys/block/sdd/device/rescan
# echo 1 > /sys/block/sde/device/rescan
```
Убедиться, что ядро увидело новый размер, выполнив команду:
```
# dmesg -wHT
```
Изменить размер multipath-устройства:
```
# multipathd -k"resize map 3600c0ff00014f56ee9f3cf6301000000"
```
где 3600c0ff00014f56ee9f3cf6301000000 — WWID multipath-устройства;
Изменить размер блочного устройства (если используется LVM):
```
# pvresize /dev/mapper/mpatha
```
Изменить размер файловой системы (если разделы LVM или DOS не используются):
```
# resize2fs /dev/mapper/mpatha
```

Примечание

Данную процедуру следует выполнить на каждом узле, к которому присоединён этот LUN.