Product SiteDocumentation Site

Глава 26. Системы хранения PVE

26.1. Типы хранилищ в PVE
26.2. Конфигурация хранилища
26.3. Идентификатор тома
26.4. Работа с хранилищами в PVE
26.4.1. Использование командной строки
26.4.2. Добавление хранилища в веб-интерфейсе PVE
26.4.3. Каталог
26.4.4. NFS
26.4.5. BTRFS
26.4.6. CIFS
26.4.7. Локальный ZFS
26.4.8. LVM
26.4.9. LVM-Thin
26.4.10. iSCSI
26.4.11. iSCSI (libiscsi)
26.4.12. Ceph RBD
26.4.13. CephFS
26.4.14. Proxmox Backup Server
26.4.15. ESXi
26.5. FC/iSCSI SAN
26.5.1. Подключение СХД
26.5.2. Настройка Multipath
26.5.3. Multipath в веб-интерфейсе PVE
26.5.4. LVM/LVM-Thin хранилища на multipath
26.5.5. Изменение размера multipath-устройства
26.6. Кластер Ceph
26.6.1. Системные требования
26.6.2. Начальная конфигурация Ceph
26.6.3. Монитор Ceph
26.6.4. Менеджер Ceph
26.6.5. Ceph OSD
26.6.6. Пулы Ceph
26.6.7. Ceph CRUSH и классы устройств
26.6.8. Клиент Ceph
26.6.9. CephFS
26.6.10. Техническое обслуживание Ceph
26.6.11. Мониторинг и устранение неполадок Ceph
26.6.12. Остановка кластера PVE + Ceph HCI
Образы ВМ могут храниться в одном или нескольких локальных хранилищах или в общем (совместно используемом) хранилище, например, NFS или iSCSI (NAS, SAN). Система не накладывает ограничений на количество настраиваемых хранилищ — их можно создавать столько, сколько необходимо.
В кластерной среде PVE наличие общего хранилища не является обязательным, однако оно значительно упрощает управление. Преимущества общего хранилища:
  • Live-миграция ВМ;
  • гибкое расширение пространства хранения за счёт нескольких узлов;
  • централизованное резервное копирование;
  • многоуровневое кеширование данных;
  • единая точка управления хранилищем.

26.1. Типы хранилищ в PVE

Существует два основных типа хранилищ:
  • файловые хранилища — представляют данные в виде файлов. Они предоставляют доступ к полноценной POSIX-совместимой файловой системе. Как правило, такие хранилища более гибкие, чем блочные, и позволяют хранить контент любого типа: ISO-образы, резервные копии, шаблоны и т.д.;
  • блочное хранилище — работают с «сырыми» (raw) образами на уровне блоков. Обычно в них нельзя хранить произвольные файлы (например, ISO или бэкапы). Однако большинство современных блочных хранилищ поддерживают моментальные снимки и клонирование.
Управление хранилищами удобно осуществлять через веб-интерфейс. В качестве бэкенда PVE может использовать:
  • сетевые файловые системы, в том числе распределенные: NFS, CEPH;
  • локальные системы управления дисковыми томами: LVM, ZFS, BTRFS;
  • удалённые и локальные блочные устройства: iSCSI, FC, локальные диски;
  • локальные каталоги на существующих файловых системах.

Таблица 26.1. Доступные типы хранилищ

Хранилище
PVE тип
Уровень
Общее (shared)
Снимки (snapshots)
ZFS (локальный)
zfspool
файл
нет
да
dir
файл
нет
нет (возможны в формате qcow2)
btrfs
файл
нет
да
NFS
nfs
файл
да
нет (возможны в формате qcow2)
cifs
файл
да
нет (возможны в формате qcow2)
cephfs
файл
да
да
LVM
lvm
блок
нет*
да
lvmthin
блок
нет
да
iscsi
блок
да
нет
iscsidirect
блок
да
нет
rbd
блок
да
да
ZFS over iSCSI
zfs
блок
да
да
pbs
файл/блок
да
-
esxi
-
да
-

Примечание

LVM можно размещать поверх iSCSI или Fibre Channel, получая таким образом общее LVM-хранилище.