Product SiteDocumentation Site

⁠Глава 40. Высокая доступность в PVE

40.1. Как работает высокая доступность в PVE
40.2. Требования для настройки HA
40.3. Настройка высокой доступности
40.3.1. Создание ресурса
40.3.2. Правила
40.4. Отключение HA для обслуживания кластера
40.4.1. Отключение и повторное включение HA
40.4.2. Процесс отключения
40.4.3. Узлы в офлайн-режиме во время отключения
40.4.4. Взаимодействие с режимом обслуживания (Maintenance Mode)
40.5. Планировщик ресурсов кластера (CRS)
40.5.1. Режим планирования CRS
40.5.2. Точки планирования CRS
40.5.3. Автоматический балансировщик нагрузки CRS
Механизм высокой доступности (High Availability, HA) в PVE позволяет автоматически восстанавливать работу ВМ и контейнеров на других узлах кластера при отказе узла или службы.
Ресурс HA может работать только на узлах, на которых доступны необходимые ему ресурсы и зависимости. По умолчанию HA Manager рассматривает все узлы кластера как потенциально подходящие для размещения ресурса. Чтобы ресурс можно было запустить на любом из этих узлов, необходимо обеспечить следующие условия:
  • конфигурация ВМ или контейнера должна быть совместима со всеми узлами, на которых разрешено размещение ресурса;
  • диски и данные ресурса должны быть доступны на целевых узлах, например через общее хранилище;
  • необходимые сетевые интерфейсы и сетевые настройки должны быть доступны на всех узлах, на которых может работать ресурс;
  • устройства, подключённые к ВМ с использованием проброса (passthrough), должны быть доступны на целевых узлах и соответствовать конфигурации ВМ.
Если необходимые ресурсы доступны только на части узлов кластера, следует ограничить размещение ресурса HA этим подмножеством узлов с помощью правила строгой привязки к узлам (см. Правила привязки к узлам (Node Affinity)). В этом случае HA Manager учитывает заданное ограничение при выборе узла для размещения или восстановления ресурса.

Примечание

HA в PVE управляет узлами и виртуальными машинами внутри кластера PVE. Этот механизм не заменяет обеспечение избыточности на уровне хранилища. Общие хранилища сторонних производителей могут иметь собственные механизмы высокой доступности. Для построения отказоустойчивой инфраструктуры необходимо обеспечить как восстановление ресурсов средствами HA в PVE, так и отказоустойчивость используемых хранилищ.
Вычислительные узлы PVE могут иметь собственные механизмы аппаратной избыточности, например RAID-массивы, резервные блоки питания и объединённые сетевые интерфейсы. HA дополняет эти механизмы на уровне управления ВМ и контейнерами, обеспечивая восстановление их работы при отказе узла.

⁠40.1. Как работает высокая доступность в PVE

PVE предоставляет программный стек ha-manager, который отслеживает состояние ресурсов и управляет их запуском, остановкой, перемещением и восстановлением в соответствии с конфигурацией HA.
Основной объект, управляемый ha-manager, называется ресурсом (service). Ресурс однозначно идентифицируется идентификатором службы (Service ID, SID), состоящим из типа ресурса и идентификатора, специфичного для данного типа:
  • vm: 100 (ресурс типа ВМ с идентификатором 100);
  • ct: 109 (ресурс типа контейнера с идентификатором 109).
Для обеспечения высокой доступности на каждом узле работают два демона:
  • pve-ha-lrm — локальный менеджер ресурсов (Local Resource Manager, LRM). Управляет ресурсами HA на локальном узле, получает сведения об их требуемом состоянии и выполняет соответствующие действия;
  • pve-ha-crm — кластерный менеджер ресурсов (Cluster Resource Manager, CRM). Координирует работу HA на уровне кластера, принимает решения о размещении и восстановлении ресурсов, передаёт команды LRM и обрабатывает результаты их выполнения. CRM также участвует в обеспечении безопасного переключения ресурсов при отказе узла.
При отказе узла HA должен обеспечить безопасную изоляцию отказавшего узла и восстановление ресурсов на других подходящих узлах. Перед запуском ресурса на другом узле необходимо исключить возможность его одновременной работы на исходном узле.
При недоступности узла (например, сетевой разрыв или зависание) HA-менеджер:
  1. Ожидает 60 секунд, чтобы исключить временные сбои.
  2. Выполняет ограждение (fencing) отказавшего узла — блокирует узел, чтобы предотвратить одновременную работу ВМ на нескольких узлах («split-brain»).
  3. Перемещает ВМ и контейнеры на другой доступный узел в группе HA.

Примечание

Даже если узел продолжает работать, но потерял связь с кластером, HA считает его отказавшим и мигрирует ресурсы.
После восстановления узла HA не возвращает ВМ на исходный узел автоматически. Если требуется разместить ВМ на исходном узле, следует выполнить управляемое перемещение ресурса:
  1. Отключить HA для нужной ВМ.
  2. Переместить ВМ на исходный узел.
  3. Включить HA для этой ВМ.

Примечание

ВМ может быть перемещена вручную только если HA отключён для данной ВМ.