Product SiteDocumentation Site

Глава 26. Системы хранения PVE

26.1. Типы хранилищ в PVE
26.2. Конфигурация хранилища
26.3. Идентификатор тома
26.4. Работа с хранилищами в PVE
26.4.1. Использование командной строки
26.4.2. Добавление хранилища в веб-интерфейсе PVE
26.4.3. Каталог
26.4.4. NFS
26.4.5. BTRFS
26.4.6. CIFS
26.4.7. GlusterFS
26.4.8. Локальный ZFS
26.4.9. LVM
26.4.10. LVM-Thin
26.4.11. iSCSI
26.4.12. iSCSI/libiscsi
26.4.13. Ceph RBD
26.4.14. CephFS
26.4.15. Proxmox Backup Server
26.4.16. ESXi
26.5. FC/iSCSI SAN
26.5.1. Подключение СХД
26.5.2. Настройка Multipath
26.5.3. Multipath в веб-интерфейсе PVE
26.5.4. LVM/LVM-Thin хранилища на multipath
26.5.5. Изменение размера multipath-устройства
26.6. Кластер Ceph
26.6.1. Системные требования
26.6.2. Начальная конфигурация Ceph
26.6.3. Монитор Ceph
26.6.4. Менеджер Ceph
26.6.5. Ceph OSD
26.6.6. Пулы Ceph
26.6.7. Ceph CRUSH и классы устройств
26.6.8. Клиент Ceph
26.6.9. CephFS
26.6.10. Техническое обслуживание Ceph
26.6.11. Мониторинг и устранение неполадок Ceph
Образы ВМ могут храниться в одном или нескольких локальных хранилищах или в общем (совместно используемом) хранилище, например, NFS или iSCSI (NAS, SAN). Ограничений нет, можно настроить столько хранилищ, сколько необходимо.
В кластерной среде PVE наличие общего хранилища не является обязательным, однако оно делает управление хранением более простой задачей. Преимущества общего хранилища:
  • миграция ВМ в реальном масштабе времени;
  • плавное расширение пространства хранения с множеством узлов;
  • централизованное резервное копирование;
  • многоуровневое кэширование данных;
  • централизованное управление хранением.

26.1. Типы хранилищ в PVE

Существует два основных типа хранилищ:
  • файловые хранилища — хранят данные в виде файлов. Технологии хранения на уровне файлов обеспечивают доступ к полнофункциональной файловой системе (POSIX). В целом они более гибкие, чем любое хранилище на уровне блоков, и позволяют хранить контент любого типа;
  • блочное хранилище — позволяет хранить большие необработанные образы. Обычно в таких хранилищах невозможно хранить другие файлы (ISO-образы, резервные копии, и т.д.). Большинство современных реализаций хранилищ на уровне блоков поддерживают моментальные снимки и клонирование. RADOS и GlusterFS являются распределенными системами, реплицирующими данные хранилища на разные узлы.
Хранилищами данных удобно управлять через веб-интерфейс. В качестве бэкенда хранилищ PVE может использовать:
  • сетевые файловые системы, в том числе распределенные: NFS, CEPH, GlusterFS;
  • локальные системы управления дисковыми томами: LVM, ZFS;
  • удаленные (iSCSI) и локальные дисковые тома;
  • локальные дисковые каталоги.

Таблица 26.1. Доступные типы хранилищ

Хранилище
PVE тип
Уровень
Общее (shared)
Снимки (snapshots)
ZFS (локальный)
zfspool
файл
нет
да
dir
файл
нет
нет (возможны в формате qcow2)
btrfs
файл
нет
да
NFS
nfs
файл
да
нет (возможны в формате qcow2)
cifs
файл
да
нет (возможны в формате qcow2)
glusterfs
файл
да
нет (возможны в формате qcow2)
cephfs
файл
да
да
LVM
lvm
блок
нет*
нет
lvmthin
блок
нет
да
iscsi
блок
да
нет
iscsidirect
блок
да
нет
rbd
блок
да
да
ZFS over iSCSI
zfs
блок
да
да
pbs
файл/блок
да
-
esxi
-
да
-

Примечание

Можно использовать LVM поверх хранилища на базе iSCSI или FC, получив таким образом общее хранилище LVM.