31.3.4. Хранилище SAN

⁠31.3.4. Хранилище SAN

Эта конфигурация хранилища предполагает, что узлы имеют доступ к устройствам хранения (LUN), экспортированным сервером сети хранения данных (SAN) с использованием подходящего протокола, такого как iSCSI или Fibre Channel (FC).

Для организации хранилищ требуется выделение как минимум 2 LUN на системе хранения. Эти LUN должны быть презентованы каждому участнику кластера — узлам управления и узлам виртуализации.

Для хранения образов в виде файлов, используется хранилище файлового типа. Блочные устройства такого хранилища (созданные и презентованные выше LUN) должны быть отформатированы в кластерную файловую систему. Существует также возможность хранить образы исполняемых ВМ в виде томов LVM.

Хранилище SAN может получить доступ к файлам образов двумя способами:

режим NFS — файлы образов доступны непосредственно на узлах виртуализации через распределенную файловую систему, например NFS или OCFS2 (fs_lvm);
режим SSH — файлы образов передаются на узел по SSH (fs_lvm_ssh).

В любом режиме серверу управления необходимо иметь доступ к хранилищам образов путем монтирования соответствующего каталога в /var/lib/one/datastores/<идентификатор_хранилища>. В случае режима NFS каталог необходимо смонтировать с сервера NAS. В режиме SSH можно смонтировать любой носитель данных в каталог хранилища.

Сервер управления также должен иметь доступ к общему LVM либо напрямую, либо через узел виртуализации, указав его в атрибуте BRIDGE_LIST в шаблоне хранилища.

⁠31.3.4.1. Создание хранилищ

Чтобы создать новое системное хранилище, необходимо указать следующие параметры:

NAME — название хранилища;
TM_MAD — fs_lvm (для режима NFS), fs_lvm_ssh (для режима SSH);
TYPE — SYSTEM_DS;
BRIDGE_LIST — список узлов, имеющих доступ к логическим томам. НЕ требуется, если внешний интерфейс настроен на доступ к логическим томам.

Зарегистрировать системное хранилище можно как веб-интерфейсе Sunstone, так и в командной строке. Например, для создания системного хранилища можно создать файл systemds.conf со следующим содержимым:

NAME    = lvm-system
TM_MAD  = fs_lvm_ssh
TYPE    = SYSTEM_DS
BRIDGE_LIST = "host-01 host-02"

И выполнить команду:

$ onedatastore create systemds.conf
ID: 101

Чтобы создать новое хранилище образов, необходимо указать следующие параметры:

NAME — название хранилища;
TM_MAD — fs_lvm (для режима NFS), fs_lvm_ssh (для режима SSH);
DS_MAD — fs;
TYPE — IMAGE_DS;
BRIDGE_LIST — список узлов, имеющих доступ к логическим томам. НЕ требуется, если внешний интерфейс настроен на доступ к логическим томам;
DISK_TYPE — BLOCK.

Зарегистрировать хранилище образов можно как веб-интерфейсе Sunstone, так и в командной строке. Например, для создания хранилища образов можно создать файл imageds.conf со следующим содержимым:

NAME    = lvm-images
TM_MAD  = fs_lvm_ssh
TYPE    = IMAGE_DS
DISK_TYPE = "BLOCK"
DS_MAD  = fs

И выполнить команду:

$ onedatastore create imageds.conf
ID: 102

Примечание

Необходимо использовать одинаковый метод передачи данных TM_MAD для системного хранилища и для хранилища образов.

На узле управления (в /var/lib/one/datastores/) будут созданы два каталога: 101 и 102. На узлах виртуализации эти каталоги автоматически не создаются, поэтому требуется создать каталоги с соответствующими идентификаторами:

$ mkdir /var/lib/one/datastores/101
$ mkdir /var/lib/one/datastores/102

⁠31.3.4.2. Подключение СХД

⁠31.3.4.2.1. Особенности подключения СХД по FC

Алгоритм подключения:

Подготовить СХД (создать LUNы).
На сервере установить FC HBA, драйверы к ним.
Настроить сетевое подключение.
Подключить СХД к серверу.
Предоставить серверу доступ к СХД по WWPN.

Примечание

Для того чтобы узнать глобальные имена портов (WWPN), можно воспользоваться утилитой systool из пакета sysfsutils.

Пакет sysfsutils необходимо установить из репозитория:

# apt-get install sysfsutils

Чтобы найти WWPN, следует ввести следующую команду:

# systool -c fc_host -A port_name
Class = "fc_host"
Class Device = "host1"
port_name = "0x10000090fa59a61a"
Device = "host1"
Class Device = "host16"
port_name = "0x10000090fa59a61b"
Device = "host16"

Просмотреть список подключенных устройств можно, например, выполнив команду:

# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 59G 0 disk
sdb 8:16 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdc 8:32 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdd 8:48 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sde 8:64 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath

В данном примере один LUN на 1000GB виден по четырем путям.

⁠31.3.4.2.2. Особенности подключения СХД по ISCSI

Все необходимые соединения iSCSI должны запускаться во время загрузки узла. Сделать это можно, установив для параметра node.startup значение automatic. Значение по умолчанию для параметра node.session.timeo.replacement_timeout составляет 120 секунд. Рекомендуется использовать значение — 15 секунд.

Эти параметры можно указать в файле в /etc/iscsi/iscsid.conf (по умолчанию). Если iSCSI target уже подключен, то необходимо изменить настройки по умолчанию для конкретной цели в файле /etc/iscsi/nodes/<TARGET>/<PORTAL>/default.

На всех узлах PVE необходимо:

Установить пакет open-iscsi, запустить и добавить в автозагрузку сервис iscsid:
```
# apt-get install open-iscsi
# systemctl enable --now iscsid
```
Указать следующие параметры в файле /etc/iscsi/iscsid.conf:
```
node.startup = automatic
node.session.timeo.replacement_timeout = 15
```

Присоединить iSCSI хранилище к кластеру:

# iscsiadm -m discovery -t sendtargets -p <iscsi-target-1-ip>
# iscsiadm -m discovery -t sendtargets -p <iscsi-target-2-ip>
# iscsiadm -m node --login

Настроить автоматическое подключение iSCSI-target-ов. Для этого необходимо поменять следующие параметры:
- в файле /etc/iscsi/iscsid.conf:
  node.startup = automatic
- в файлах /var/lib/iscsi/send_targets/<TargetServer>,<Port>/st_config:
  discovery.sendtargets.use_discoveryd = Yes

После перезагрузки должны появиться подключенные устройства:

# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 59G 0 disk
sdb 8:16 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdc 8:32 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sdd 8:48 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath
sde 8:64 0 931,3G 0 disk
└─mpatha 253:0 0 931,3G 0 mpath

В данном примере один LUN на 1000GB виден по четырем путям.

Примечание

Примеры использования команды iscsiadm:

отключить хранилище (отключить все цели):
```
# iscsiadm -m node --logout
```

отключить только определенную цель:

# iscsiadm -m node --targetname "iscsi-target-1.test.alt:server.target1" --logout

переопросить устройства на ISCSI:
```
# iscsiadm -m node -R
```
посмотреть все текущие подключения iSCSI:
```
# iscsiadm -m session
```

⁠31.3.4.3. Настройка Multipath

Многопутевой ввод-вывод (Multipath I/O) — технология подключения узлов СХД с использованием нескольких маршрутов. В случае отказа одного из контроллеров, ОС будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку.

Multipath устройства объединяются в одно устройство с помощью специализированного ПО в новое устройство. Multipath обеспечивает выбор пути и переключение на новый маршрут при отказе текущего. Кроме того Multipath позволяет увеличить пропускную способность за счет балансировки нагрузки.

На всех узлах должен быть установлен пакет для multipath:

# apt-get install multipath-tools

И запущена служба multipathd:

# systemctl enable --now multipathd && sleep 5; systemctl status multipathd

⁠31.3.4.3.1. Конфигурация multipath

Примечание

Команда multipath используется для обнаружения и объединения нескольких путей к устройствам.

Некоторые параметры команды multipath:

-l — отобразить текущую multipath-топологию, полученную из sysfs и устройства сопоставления устройств;
-ll — отобразить текущую multipath-топологию, собранную из sysfs, устройства сопоставления устройств и всех других доступных компонентов системы;
-f device — удалить указанное multipath-устройство;
-F — удалить все неиспользуемые multipath-устройства;
-w device — удалить WWID указанного устройства из файла wwids;
-W — сбросить файл wwids, чтобы включить только текущие многопутевые устройства;
-r — принудительная перезагрузка multipath-устройства.

После подключения, устройство хранения данных должно автоматически определиться как multipath-устройство:

# multipath -ll
mpatha (3600c0ff00014f56ee9f3cf6301000000) dm-0 HP,P2000 G3 FC
size=931G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 1:0:0:1 sdb 8:16 active ready running
| `- 16:0:1:1 sde 8:64 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 1:0:1:1 sdc 8:32 active ready running
`- 16:0:0:1 sdd 8:48 active ready running

Вывод этой команды разделить на три части:

Информация о multipath-устройстве:
- mpatha (3600c0ff00014f56ee9f3cf6301000000): алиас
- dm-0: имя устройства dm
- HP,P2000 G3 FC: поставщик, продукт
- size=931G: размер
- features='1 queue_if_no_path': функции
- hwhandler='01 alua': аппаратный обработчик
- wp=rw: права на запись
Информация о группе путей:
- policy='service-time 0': политика планирования
- prio=50: приоритет группы путей
- status=active: статус группы путей
Информация о пути:
- 7:0:1:1: хост:канал:идентификатор:Lun
- sde: диск
- 8:80: номера major:minor
- active: статус dm
- ready: статус пути
- running: online статус

Для получения дополнительной информации об используемых устройствах можно выполнить команду:

# multipath -v3

Настройки multipath содержатся в файле /etc/multipath.conf:

defaults {
    find_multipaths         yes
    user_friendly_names     yes
}

Если для параметра user_friendly_names установлено значение no, то для имени multipath-устройства задается значение World Wide Identifier (WWID). Имя устройства будет /dev/mapper/WWID и /dev/dm-X:

# ls /dev/mapper/
3600c0ff00014f56ee9f3cf6301000000

# lsblk
NAME                                        MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                                           8:0    0    59G  0 disk
sdb                                           8:16   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath
sdc                                           8:32   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath
sdd                                           8:48   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath
sde                                           8:64   0 931,3G  0 disk
└─3600c0ff00014f56ee9f3cf6301000000         253:0    0 931,3G  0 mpath

Если для параметра user_friendly_names установлено значение yes, то для имени multipath-устройства задаётся алиас (псевдоним), в форме mpathХ. Имя устройства будет /dev/mapper/mpathХ и /dev/dm-X:

# ls /dev/mapper/
mpatha

# lsblk
NAME             MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                8:0    0    59G  0 disk
sdb                8:16   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath
sdc                8:32   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath
sdd                8:48   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath
sde                8:64   0 931,3G  0 disk
└─mpatha         253:0    0 931,3G  0 mpath

Однако не гарантируется, что имя устройства будет одинаковым на всех узлах, использующих это multipath-устройство.

ОС при загрузке определяет пути к устройствам в изменяющейся среде выполнения (например, при новой загрузке в среде выполнения ОС появились новые устройства хранения или исчезли старые, и т.п.) по отношению к предыдущей загрузке или по отношению к заданной ранее конфигурации. Это может приводить к противоречиям при именовании устройств. Для того чтобы избежать такого поведения, рекомендуется:

Сделать явное исключение для устройства (раздела) хранения (например, для 3600c0ff00014f56ee9f3cf6301000000, которое в настоящее время определяется как /dev/mapper/mpatha). Для этого в файл /etc/multipath.conf добавить секции:
```
blacklist {
        wwid .*
}

blacklist_exceptions {
        wwid "3600c0ff00014f56ee9f3cf6301000000"
}
```
Данная настройка предписывается внести в черный список любые найденные устройства хранения данных, за исключением нужного.
Создать еще одну секцию:
```
multipaths {
  multipath {
        wwid "3600c0ff00014f56ee9f3cf6301000000"
        alias mpatha
  }
}
```
В этом случае устройство всегда будет доступно только по имени /dev/mapper/mpatha. Вместо mpatha можно вписать любое желаемое имя устройства.

Примечание

Получить WWID конкретного устройства можно, выполнив команду:

# /lib/udev/scsi_id -g -u -d /dev/sdb
3600c0ff00014f56ee9f3cf6301000000

Для устройств в одном multipath WWID будут совпадать.

В файл /etc/multipath.conf может также потребоваться внести рекомендованные производителем СХД параметры.

После внесения изменений в файл /etc/multipath.conf необходимо перезапустить службу multipathd для активации настроек:

# systemctl restart multipathd.service

Примечание

Проверить файл /etc/multipath.conf на наличие ошибок можно, выполнив команду:

# multipath -t

⁠31.3.4.4. Разметка хранилища образов

Устройство, на котором размещается хранилище образов должно быть отформатировано кластерной ФС.

Ниже показано создание кластерной ФС ocfs2 на multipath-устройстве и подключение этого устройства в OpenNebula.

⁠31.3.4.4.1. Кластерная ФС ocfs2

На всех узлах кластера необходимо установить пакет ocfs2-tools:

# apt-get install ocfs2-tools

Примечание

Основной конфигурационный файл для OCFS2 — /etc/ocfs2/cluster.conf. Этот файл должен быть одинаков на всех узлах кластера, при изменении в одном месте его нужно скопировать на остальные узлы. При добавлении нового узла в кластер, описание этого узла должно добавлено быть на всех остальных узлах до монтирования раздела ocfs2 с нового узла.

Создание кластерной конфигурации возможно с помощью команд или с помощью редактирования файла конфигурации /etc/ocfs2/cluster.conf.

Пример создания кластера из трёх узлов:

В командной строке:

Создать кластер с именем mycluster:

# o2cb_ctl -C -n mycluster -t cluster -a name=mycluster

Добавить узелы, выполнив команду для каждого:

# o2cb_ctl -C -n <имя_узла> -t node -a number=0 -a ip_address=<IP_узла> -a ip_port=7777 -a cluster=mycluster

Редактирование конфигурационного файла /etc/ocfs2/cluster.conf:

cluster:
node_count = 3
heartbeat_mode = local
name = mycluster

node:
ip_port = 7777
ip_address = <IP_узла-01>
number = 0
name = <имя_узла-01>
cluster = mycluster

node:
ip_port = 7777
ip_address = <IP_узла-02>
number = 1
name = <имя_узла-02>
cluster = mycluster

node:
ip_port = 7777
ip_address = <IP_узла-03>
number = 2
name = <имя_узла-03>
cluster = mycluster

Примечание

Имя узла кластера должно быть таким, как оно указано в файле /etc/hostname.

Для включения автоматической загрузки сервиса OCFS2 можно использовать скрипт /etc/init.d/o2cb:

# /etc/init.d/o2cb configure

Для ручного запуска кластера нужно выполнить:

# /etc/init.d/o2cb load
checking debugfs...
Loading filesystem "ocfs2_dlmfs": OK
Creating directory '/dlm': OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
# /etc/init.d/o2cb online mycluster
checking debugfs...
Setting cluster stack "o2cb": OK
Registering O2CB cluster "mycluster": OK
Setting O2CB cluster timeouts : OK

Далее на одном из узлов необходимо создать раздел OCFS2, для этого следует выполнить следующие действия:

создать физический раздел /dev/mapper/mpatha-part1 на диске /dev/mapper/mpatha:
```
# fdisk /dev/mapper/mpatha
```

отформатировать созданный раздел, выполнив команду:

# mkfs.ocfs2 -b 4096 -C 4k -L DBF1 -N 3 /dev/mapper/mpatha-part1
mkfs.ocfs2 1.8.7
Cluster stack: classic o2cb
Label: DBF1
…
mkfs.ocfs2 successful

⁠

Таблица 31.2. Параметры команды mkfs.ocfs2

Параметр	Описание
`-L метка_тома`	Метка тома, позволяющая его однозначно идентифицировать при подключении на разных узлах. Для изменения метки тома можно использовать утилиту `tunefs.ocfs2`
`-C размер_кластера`	Размер кластера — это наименьшая единица пространства, выделенная файлу для хранения данных. Возможные значения: 4, 8, 16, 32, 64, 128, 256, 512 и 1024 КБ. Размер кластера невозможно изменить после форматирования тома
`-N количество_узлов_кластера`	Максимальное количество узлов, которые могут одновременно монтировать том. Для изменения количества узлов можно использовать утилиту `tunefs.ocfs2`
`-b размер_блока`	Наименьшая единица пространства, адресуемая ФС. Возможные значения: 512 байт (не рекомендуется), 1 КБ, 2 КБ или 4 КБ (рекомендуется для большинства томов). Размер блока невозможно изменить после форматирования тома

Примечание

Для создания нового раздела может потребоваться предварительно удалить существующие данные раздела на устройстве /dev/mpathX (следует использовать с осторожностью!):

# dd if=/dev/zero of=/dev/mapper/mpathX bs=512 count=1 conv=notrunc

⁠31.3.4.4.2. OCFS2 в OpenNebula

На каждом узле OpenNebula необходимо добавить данную ФС OCFS2 к каталогам, которые будут автоматически монтироваться при загрузке узла:

определить UUID раздела:

# blkid
/dev/mapper/mpatha-part1: LABEL="DBF1" UUID="df49216a-a835-47c6-b7c1-6962e9b7dcb6" BLOCK_SIZE="4096" TYPE="ocfs2" PARTUUID="15f9cd13-01"

добавить монтирование этого UUID в /etc/fstab:

UUID=<uuid> /var/lib/one/datastores/<идентификатор_хранилища> ocfs2 _netdev,defaults 0 0

Например:

UUID=df49216a-a835-47c6-b7c1-6962e9b7dcb6       /var/lib/one/datastores/102     ocfs2 _netdev,defaults 0 0

убедиться, что монтирование прошло без ошибок, выполнив команду:
```
# mount -a
```
Результатом выполнения команды должен быть пустой вывод без ошибок.

пример получившейся конфигурации:

# lsblk
NAME             MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                8:0    0    59G  0 disk
`-sda1             8:1    0   255M  0 part  /boot/efi
sdb                8:16   0 931.3G  0 disk
`-mpatha         253:0    0 931.3G  0 mpath
  `-mpatha-part1 253:1    0 931.3G  0 part  /var/lib/one/datastores/102
sdc                8:32   0 931.3G  0 disk
|-sdc1             8:33   0 931.3G  0 part
`-mpatha         253:0    0 931.3G  0 mpath
  `-mpatha-part1 253:1    0 931.3G  0 part  /var/lib/one/datastores/102
sdd                8:48   0 931.3G  0 disk
`-mpatha         253:0    0 931.3G  0 mpath
  `-mpatha-part1 253:1    0 931.3G  0 part  /var/lib/one/datastores/102
sde                8:64   0 931.3G  0 disk
`-mpatha         253:0    0 931.3G  0 mpath
  `-mpatha-part1 253:1    0 931.3G  0 part  /var/lib/one/datastores/102

Примечание

Опция _netdev позволяет монтировать данный раздел только после успешного старта сетевой подсистемы.

Важно

При использовании файловой технологии хранения, после добавления записи об автоматическом монтировании в файле /etc/fstab и перезагрузки ОС, необходимо назначить на каталог этого хранилища владельца oneadmin. Например:

# chown oneadmin: /var/lib/one/datastores/102

Примечание

Вывести все файловые системы OCFS2 на данном узле:

# mounted.ocfs2 -f
Device                    		Stack  Cluster  F  	Nodes
/dev/mapper/mpatha-part1  	o2cb               		server, host-02, host-01
# mounted.ocfs2 -d
Device                    Stack  Cluster  F  UUID                              Label
/dev/mapper/mpatha-part1  o2cb               DF49216AA83547C6B7C16962E9B7DCB6  DBF

⁠31.3.4.5. Разметка системного хранилища

LUN для системного хранилища будет обслуживаться менеджером томов LVM.

Предварительные условия:

lvmetad должен быть отключен. Для этого следует установить параметр use_lvmetad = 0 в /etc/lvm/lvm.conf (в разделе global) и отключить службу lvm2-lvmetad.service, если она запущена.
Пользователь oneadmin должен входить в группу disk:
```
 # gpasswd -a oneadmin disk
```
Все узлы должны иметь доступ к одним и тем же LUN.
Для каждого хранилища необходимо создать LVM VG с именем vg-one-<идентификатор_хранилища> в общих LUN.

Примечание

LUN должен быть виден в системе по пути /dev/mapper/.

LUN должен быть не размечен. Его необходимо очистить от разметки и/или файловых систем на стороне СХД, или выполнить команду:

# wipefs -fa /dev/mapper/[LUN_WWID]

На узле управления необходимо:

Создать физический том (PV) на LUN, например:

# pvcreate /dev/mapper/mpathb
Physical volume "/dev/mapper/mpathb" successfully created.

Создать группу томов с именем vg-one-<идентификатор_хранилища>, например:
```
# vgcreate vg-one-101 /dev/mapper/mpathb
Volume group "vg-one-101" successfully created
```

Вывести информацию о физических томах:

# pvs
PV                       VG         Fmt  Attr PSize   PFree
/dev/mapper/mpathb       vg-one-101 lvm2 a--  931.32g 931.32g

Созданные хранилища будут отображаться в веб-интерфейсе OpenNebula. Индикация объёма хранилища должна соответствать выделенному на СХД для каждого LUN.

После создания и запуска ВМ будет создан логический раздел:

# lvscan
  ACTIVE            '/dev/vg-one-101/lv-one-52-0' [50,00 GiB] inherit
# lsblk
sde                               8:64   0   931.3G  0 disk
└─mpathb                        253:1    0   931.3G  0 mpath
  └─vg--one--101-lv--one--52--0 253:3    0   51G     0 lvm

где 52 — идентификатор ВМ.