Механизм высокой доступности (High Availability, HA) в PVE позволяет автоматически восстанавливать работу ВМ и контейнеров на других узлах кластера при отказе узла или службы.
Ресурс HA может работать только на узлах, на которых доступны необходимые ему ресурсы и зависимости. По умолчанию HA Manager рассматривает все узлы кластера как потенциально подходящие для размещения ресурса. Чтобы ресурс можно было запустить на любом из этих узлов, необходимо обеспечить следующие условия:
конфигурация ВМ или контейнера должна быть совместима со всеми узлами, на которых разрешено размещение ресурса;
диски и данные ресурса должны быть доступны на целевых узлах, например через общее хранилище;
необходимые сетевые интерфейсы и сетевые настройки должны быть доступны на всех узлах, на которых может работать ресурс;
устройства, подключённые к ВМ с использованием проброса (passthrough), должны быть доступны на целевых узлах и соответствовать конфигурации ВМ.
Если необходимые ресурсы доступны только на части узлов кластера, следует ограничить размещение ресурса HA этим подмножеством узлов с помощью правила строгой привязки к узлам (см.
Правила привязки к узлам (Node Affinity)). В этом случае HA Manager учитывает заданное ограничение при выборе узла для размещения или восстановления ресурса.
Вычислительные узлы PVE могут иметь собственные механизмы аппаратной избыточности, например RAID-массивы, резервные блоки питания и объединённые сетевые интерфейсы. HA дополняет эти механизмы на уровне управления ВМ и контейнерами, обеспечивая восстановление их работы при отказе узла.
40.1. Как работает высокая доступность в PVE
PVE предоставляет программный стек ha-manager, который отслеживает состояние ресурсов и управляет их запуском, остановкой, перемещением и восстановлением в соответствии с конфигурацией HA.
Основной объект, управляемый
ha-manager, называется ресурсом (service). Ресурс однозначно идентифицируется идентификатором службы (Service ID, SID), состоящим из типа ресурса и идентификатора, специфичного для данного типа:
Для обеспечения высокой доступности на каждом узле работают два демона:
pve-ha-lrm — локальный менеджер ресурсов (Local Resource Manager, LRM). Управляет ресурсами HA на локальном узле, получает сведения об их требуемом состоянии и выполняет соответствующие действия;
pve-ha-crm — кластерный менеджер ресурсов (Cluster Resource Manager, CRM). Координирует работу HA на уровне кластера, принимает решения о размещении и восстановлении ресурсов, передаёт команды LRM и обрабатывает результаты их выполнения. CRM также участвует в обеспечении безопасного переключения ресурсов при отказе узла.
При отказе узла HA должен обеспечить безопасную изоляцию отказавшего узла и восстановление ресурсов на других подходящих узлах. Перед запуском ресурса на другом узле необходимо исключить возможность его одновременной работы на исходном узле.
При недоступности узла (например, сетевой разрыв или зависание) HA-менеджер:
Ожидает 60 секунд, чтобы исключить временные сбои.
Выполняет ограждение (fencing) отказавшего узла — блокирует узел, чтобы предотвратить одновременную работу ВМ на нескольких узлах («split-brain»).
Перемещает ВМ и контейнеры на другой доступный узел в группе HA.
Даже если узел продолжает работать, но потерял связь с кластером, HA считает его отказавшим и мигрирует ресурсы.
После восстановления узла HA не возвращает ВМ на исходный узел автоматически. Если требуется разместить ВМ на исходном узле, следует выполнить управляемое перемещение ресурса:
Отключить HA для нужной ВМ.
Переместить ВМ на исходный узел.
Включить HA для этой ВМ.
ВМ может быть перемещена вручную только если HA отключён для данной ВМ.