Product SiteDocumentation Site

⁠26.6.9. CephFS

CephFS — POSIX-совместимая файловая система, работающая поверх объектного хранилища RADOS. Сервер метаданных (MDS) преобразует объекты RADOS в файлы и каталоги, обеспечивая:
  • кластерную архитектуру;
  • высокую доступность;
  • равномерное распределение нагрузки (в отличие от NFS, где один сервер может стать узким местом).
PVE поддерживает как создание гиперконвергентной CephFS, так и использование существующей CephFS в качестве хранилища для резервных копий, ISO-файлов и шаблонов контейнеров.

⁠26.6.9.1. Сервер метаданных (MDS)

В кластере может быть несколько серверов метаданных (MDS), однако активным в каждый момент времени является только один. При отказе активного MDS управление автоматически передаётся резервному.
Ускорить передачу состояния между активным и резервным MDS можно, используя параметр hotstandby при создании сервера либо, после его создания, установи в соответствующем разделе MDS файла /etc/pve/ceph.conf параметр: 
mds standby replay = true
Если этот параметр включён, указанный MDS будет находиться в состоянии warm standby, опрашивая активный сервер, что позволяет быстрее принять управление в случае сбоя.

Примечание

Активный опрос (standby replay) создаёт дополнительную нагрузку на активный MDS и сеть.
⁠ Создание MDS в веб-интерфейсе:
  1. Перейдите на вкладку Узел+Ceph → CephFS.
  2. Нажмите кнопку Создать:
    Создание сервера метаданных Ceph
Создание MDS в командной строке: 
# pveceph mds create

⁠26.6.9.2. Создание CephFS

Предварительные требования:
Создание CephFS в веб-интерфейсе:
  1. Перейдите на вкладку Узел+Ceph → CephFS.
  2. Нажмите кнопку Создать CephFS:
    Создание CephFS
Создание CephFS в командной строке: 
# pveceph fs create --pg_num 128 --add-storage
В результате будет создана CephFS с именем cephfs, пул данных cephfs_data с 128 группами размещения и пул метаданных cephfs_metadata с четвертью от их числа (32).
CephFS

Примечание

Параметр --add-storage (опция Добавить как хранилище) автоматически добавляет CephFS в конфигурацию хранилищ PVE.

⁠26.6.9.3. Удаление CephFS

Предупреждение

Удаление CephFS безвозвратно уничтожает все данные.
Для корректного удаления CephFS выполните следующие шаги::
  1. Отключите все клиенты, не являющихся PVE (например, размонтируйте CephFS в гостевых системах).
  2. Отключите все связанные записи хранилища CephFS в PVE, чтобы предотвратить автоматическое монтирование.
  3. Удалите все используемые ресурсы из гостевых систем (например, ISO-образы), размещённые на удаляемой CephFS.
  4. Размонтируйте хранилища CephFS на всех узлах кластера: 
    # umount /mnt/pve/<STORAGE-NAME>
    где <STORAGE-NAME> — имя хранилища CephFS в PVE.
  5. Остановите все MDS (сначала резервные, затем активный): 
    # pveceph stop --service mds.NAME

# pveceph mds destroy NAME
  6. Уничтожьте CephFS: 
    # pveceph fs destroy NAME --remove-storages --remove-pools
Это автоматически удалит соответствующие пулы Ceph и записи хранилищ из конфигурации PVE. После удаления резервные MDS можно повторно использовать для других файловых систем.