Product SiteDocumentation Site

⁠40.3. Настройка высокой доступности

Стек HA интегрирован в API PVE и доступен следующими способами:
  • через веб-интерфейс PVE (раздел Центр обработки данных → HA);
  • через командную строку (ha-manager);
  • через API PVE, в том числе из автоматизированных скриптов.
Меню HA. Статус настройки HA
В разделе Статус отображается текущее состояние HA, в том числе:
  • состояние кворума;
  • главный узел кластера и время последнего обновления его состояния;
  • состояние узлов и их локальных менеджеров ресурсов (LRM);
  • состояние механизма ограждения (fencing) и сторожевых таймеров (watchdog).
В строке fencing отображается состояние механизма ограждения узлов, связанное с работой watchdog кластерного менеджера ресурсов (CRM). Каждая строка lrm дополнительно содержит сведения о состоянии локального менеджера ресурсов и его watchdog.
Возможные состояния watchdog:
  • armed (активен) — watchdog активирован. CRM поддерживает свой сторожевой таймер, пока выполняются необходимые условия работы HA. LRM также использует собственный watchdog в соответствии с состоянием локального менеджера и удерживаемой им блокировкой. При нарушении условий безопасной работы HA механизм watchdog может инициировать перезагрузку узла;
  • standby (ожидание) — watchdog CRM находится в режиме ожидания. Такое состояние может наблюдаться, например, при отсутствии ресурсов HA или до выбора главного узла после запуска кластера. После активации CRM состояние может измениться на armed;
  • disarming (отключение) — выполняется отключение HA с помощью команды disarm-ha. CRM прекращает обычное управление ресурсами в соответствии с выбранным режимом и ожидает освобождения watchdog всеми LRM. На этом этапе watchdog CRM ещё может оставаться активным;
  • disarmed (отключен) — сторожевые таймеры HA освобождены. Автоматическая изоляция узлов и восстановление ресурсов средствами HA в этом состоянии не выполняются.
Примеры команд ha-manager:
  • Просмотр статуса HA:
    # ha-manager status
    quorum OK
    master pve01 (active, Mon Jul  6 15:14:51 2026)
    fencing armed (CRM watchdog active)
    lrm pve01 (active, watchdog active, Mon Jul  6 15:14:54 2026)
    lrm pve02 (idle, watchdog standby, Mon Jul  6 15:14:53 2026)
    lrm pve03 (active, watchdog active, Mon Jul  6 15:14:53 2026)
    service ct:102 (pve01, started)
    service ct:103 (pve03, stopped)
    service vm:104 (pve01, started)
    
  • Просмотр конфигурации ресурсов HA:
    # ha-manager config
    ct:102
        state started
    
    ct:103
        max_relocate 2
        state stopped
    
    vm:104
    	state started
    
  • Онлайн-миграция ВМ на другой узел:
    # ha-manager migrate vm:104 pve02
    

    Примечание

    При онлайн-миграции содержимое памяти ВМ передаётся по сети, поэтому иногда быстрее остановить ВМ и перезапустить её на новом узле.
  • Перемещение ВМ с остановкой и последующим запуском:
    # ha-manager relocate vm:104 pve02
    
  • Удаление ресурса из конфигурации HA:
    # ha-manager remove ct:103
    

    Примечание

    Эта команда не запускает и не останавливает ресурс.
Ресурсы HA могут находиться в следующих состояниях:
  • stopped — служба остановлена (подтверждено LRM). Если LRM обнаружит, что служба фактически работает, он может повторно инициировать её остановку в соответствии с требуемым состоянием;
  • request_stop — CRM запросил остановку службы и ожидает подтверждения от LRM;
  • stopping — выполняется остановка службы; CRM ожидает подтверждения от LRM;
  • started — служба должна быть запущена и поддерживаться в работающем состоянии. Если служба не работает, LRM предпринимает действия для её запуска;
  • starting — выполняется запуск службы; CRM ожидает подтверждения от LRM;
  • fence — ожидается завершение ограждения узла, на котором выполнялась служба. Это необходимо, когда узел находится вне кворумной части кластера и требуется обеспечить безопасное переключение. После успешного ограждения служба переводится в состояние recovery;
  • recovery — выполняется восстановление службы. HA Manager выбирает подходящий узел с учётом доступности узлов, состояния кворума и настроенных правил размещения. После выбора узла служба переносится туда и сначала получает состояние stopped. Если служба должна быть запущена — узел её запускает;
  • freeze — управление службой временно приостановлено. Это состояние может использоваться, например, при перезагрузке узла или перезапуске LRM;
  • ignored — служба временно исключена из обычного управления HA. Это позволяет выполнять отдельные операции вручную без удаления ресурса из конфигурации HA;
  • migrate — выполняется миграция службы на другой узел;
  • error — служба отключена из-за ошибок LRM. Требуется ручное вмешательство;
  • queued — служба ожидает обработки кластерным менеджером ресурсов;
  • disabled — служба отключена от автоматического управления запуском средствами HA. Для возобновления автоматического управления необходимо изменить её состояние в конфигурации HA.
Все конфигурационные файлы HA хранятся в каталоге /etc/pve/ha/ и автоматически синхронизируются между узлами кластера.

⁠40.3.1. Создание ресурса

Для создания ресурса необходимо в подменю Ресурсы нажать кнопку Добавить.
Создание ресурса
Параметры ресурса:
  • VM — идентификатор ВМ или контейнера;
  • Макс. перезапусков (max_restart) — максимальное количество попыток перезапустить ресурс на текущем узле после неудачного запуска. После исчерпания этих попыток HA Manager может попытаться перенести ресурс на другой узел;
  • Макс. перемещений (max_relocate) — максимальное количество попыток перенести ресурс на другой узел после неудачных попыток запуска;
  • Восстановление размещения (failback) — разрешает автоматически возвращать ресурс на узел с наивысшим приоритетом в соответствии с правилами привязки к узлам, когда такой узел становится доступен;
  • Auto-Rebalance (auto-rebalance) — определяет, может ли ресурс участвовать в автоматической перебалансировке нагрузки кластера;
  • Статус запроса:
    • started — ресурс должен быть запущен. HA Manager запускает его, если он не работает, и восстанавливает работу при сбоях;
    • stopped — ресурс должен быть остановлен. HA Manager поддерживает его в остановленном состоянии;
    • ignored — ресурс временно исключается из управления HA, но остаётся в конфигурации;
    • disabled — ресурс останавливается и помечается как отключённый.
Пример создания ресурса в командной строке:
# ha-manager add ct:108 --state started --max_relocate 2
Список ресурсов, управляемых ha-manager, хранится в файле /etc/pve/ha/resources.cfg в формате:
<тип>: <имя>
       <свойство> <значение>
…
⁠

Таблица 40.1. Дополнительные свойства

Свойство
Описание
auto-rebalance: <логическое значение> (по умолчанию 1)
Определяет, может ли ресурс участвовать в автоматической перебалансировке нагрузки кластера
comment: <строка>
Описание ресурса
failback: <логическое значение> (по умолчанию 1)
Разрешает автоматически переносить ресурс на узел с наивысшим приоритетом согласно правилам привязки к узлам, если этот узел становится доступен
group: <строка>
Устаревший механизм. Идентификатор группы высокой доступности
max_relocate: <целое число> (0 — N) (по умолчанию 1)
Максимальное количество попыток перенести ресурс на другой узел после неудачных попыток запуска
max_restart: <целое число> (0 — N) (по умолчанию 1)
Максимальное количество попыток перезапустить ресурс на текущем узле после неудачного запуска. После исчерпания этих попыток HA Manager пытается перенести ресурс на другой узел
state: <disabled | enabled | ignore | started | stopped> (по умолчанию started)
Запрошенное состояние ресурса (enabled — псевдоним для started)
Пример конфигурации (/etc/pve/ha/resources.cfg):
ct: 103
    state stopped

vm: 104
    state started

ct: 102
    max_relocate 2
    state started

Примечание

Если параметры не указаны, используются значения по умолчанию.