Product SiteDocumentation Site

⁠40.3.2. Правила

Правила HA (Affinity Rules) позволяют задавать ограничения на размещение ресурсов в кластере: определять узлы, на которых должны или могут работать ресурсы, а также взаимное расположение ресурсов.
Правила HA (Affinity Rules)
Конфигурация правил хранится в файле /etc/pve/ha/rules.cfg. Формат файла:
<тип>: <имя_правила>
       resources <список_ресурсов>
       <свойство> <значение>
⁠

Таблица 40.2. Дополнительные свойства правил HA

Свойство
Описание
comment: <строка>
Описание правила HA
disable: <логическое значение>
Определяет, отключено ли правило
resources: <тип>:<имя>{,<тип>:<имя>}*
Список идентификаторов ресурсов HA, к которым применяется правило
⁠

Таблица 40.3. Типы правил HA

Тип правила
Описание
node-affinity
Задаёт предпочтительные или обязательные узлы для размещения ресурсов HA
resource-affinity
Задаёт взаимное расположение двух или более ресурсов: positive — ресурсы должны размещаться на одном узле, negative — ресурсы должны размещаться на разных узлах

⁠40.3.2.1. Правила привязки к узлам (Node Affinity)

По умолчанию ресурс HA может работать на любом узле кластера. Правила привязки к узлам позволяют задать предпочтительные узлы для размещения ресурса или ограничить размещение определённым набором узлов.
По умолчанию правило привязки к узлам является нестрогим. Если ни один из указанных в правиле узлов недоступен, ресурс может быть размещён на другом узле кластера. Если правило является строгим (strict = 1), ресурс может работать только на указанных узлах. Если все эти узлы недоступны, ресурс не будет запущен на других узлах.
Для добавления правила привязки к узлам необходимо на вкладке Центр обработки данных → HA → Правила размещения в разделе Правила размещения на узлах высокой доступности (HA) нажать кнопку Добавить.
Добавление правила привязки к узлам
Настройки правила:
  • Включить — включает или отключает правило;
  • Ресурсы высокой доступности (HA) — список ресурсов, к которым применяется правило;
  • Строго — определяет, является ли привязка к указанным узлам обязательной;
  • Узел — список узлов, на которых предпочтительно или разрешено размещать ресурсы (нужно выбрать хотя бы один узел);
  • Приоритет — приоритет узла при размещении ресурса. Ресурс размещается на доступных узлах с наивысшим приоритетом. Если несколько узлов имеют одинаковый наивысший приоритет, ресурсы могут распределяться между ними. Приоритеты являются относительными: чем больше число, тем выше приоритет.
Для больших кластеров или особых сценариев использования можно настроить последовательность предпочтительных узлов при отказе. Например, ресурсы vm:200 и ct:300 должны работать на узле pve01. Если узел pve01 становится недоступен, ресурсы могут размещаться на узлах pve02 и pve03. Если эти узлы также недоступны, ресурсы могут быть размещены на pve04.
Для реализации такого поведения узлам назначают приоритеты. Узел pve01 получает наивысший приоритет, узлы pve02 и pve03 — одинаковый приоритет ниже, а pve04 — самый низкий. Если приоритет не указан, используется значение 0.
Пример команд для работы с правилами привязки к узлам:
  • создание правила, задающего предпочтительный узел pve01 для ресурса vm:104:
    # ha-manager rules add node-affinity ha-rule-vm104 --resources vm:104 --nodes pve01
    
  • включение строгой привязки:
    # ha-manager rules set node-affinity ha-rule-vm104 --strict 1
    
  • создание правила с несколькими приоритетами:
    # ha-manager rules add node-affinity priority-cascade \
      --resources ct:102,ct:103 --nodes "pve01:2,pve02:1,pve03:1,pve04"
    
    В этом примере узел pve01 имеет наивысший приоритет, узлы pve02 и pve03 — одинаковый приоритет ниже, а pve04 — приоритет 0, который используется по умолчанию.
Пример конфигурации правил привязки к узлам (/etc/pve/ha/rules.cfg):
node-affinity: ha-rule-vm104
        nodes pve01
        resources vm:104
        strict 1

node-affinity: priority-cascade
        nodes pve01:2,pve02:1,pve03:1,pve04
        resources ct:102,ct:103
⁠

Таблица 40.4. Свойства правила привязки к узлам

Свойство
Описание
nodes: <узел>[:<приоритет>]{,<узел>[:<приоритет>]}*
Список узлов кластера, которым могут назначаться приоритеты. Если приоритет не указан, используется значение 0
resources: <тип>: <имя>{,<тип>: <имя>}*
Список идентификаторов ресурсов HA, к которым применяется правило
strict: <логическое значение> (по умолчанию 0)
Определяет строгость привязки. При значении 0 ресурс может размещаться на других узлах, если указанные недоступны. При значении 1 ресурс ограничен указанными узлами

⁠40.3.2.2. Правила привязки ресурсов (Resource Affinity)

Правила привязки ресурсов позволяют задавать, должны ли два или более ресурса высокой доступности (HA) размещаться на одном узле или, наоборот, на разных узлах. Такие ограничения также называют правилами совместного и раздельного размещения (affinity/anti-affinity).
Например, если между ресурсами vm:104 (веб-сервер) и vm:108 (база данных) происходит интенсивный обмен данными, их размещение на разных узлах может увеличить сетевые задержки и нагрузку на сеть. В этом случае правило с положительной привязкой (positive affinity) предписывает размещать оба ресурса на одном узле.
Однако совместное размещение не всегда целесообразно. Например, если vm:120 и ct:130 — ресурсоёмкие экземпляры баз данных, их размещение на одном узле может привести к перегрузке узла и снижению производительности. В этом случае правило с отрицательной привязкой (negative affinity) предписывает размещать ресурсы на разных узлах.

Важно

В отличие от правил привязки к узлам, правила привязки ресурсов являются строгими. Если ограничение невозможно выполнить (например, не хватает узлов для разделения), HA Manager переводит ресурс в состояние восстановления (recovery) при обработке сбоя или в состояние ошибки (error) в других случаях.
Для добавления правила привязки ресурсов необходимо на вкладке Центр обработки данных → HA → Правила размещения в разделе Правила размещения ресурсов высокой доступности (HA) нажать кнопку Добавить.
Добавление правила привязки ресурсов
Настройка правила:
  • Включить — активировать или отключить правило;
  • Ресурсы высокой доступности (HA) — ресурсы, к которым применяется правило;
  • Привязка — тип привязки:
    • Размещать совместно — ресурсы должны находиться на одном узле;
      Размещать раздельно — ресурсы должны находиться на разных узлах.
Примеры создания правила привязки ресурсов в командной строке:
# ha-manager rules add resource-affinity keep-together \
  --affinity positive --resources vm:104,ct:108

# ha-manager rules add resource-affinity keep-separate \
--affinity negative --resources vm:200,ct:300
Первое правило предписывает размещать ресурсы на одном узле, второе — на разных.

Примечание

Если несколько правил с положительной привязкой содержат общие ресурсы, они рассматриваются как одно логическое правило. Например, правила для пар vm:100, vm:101 и vm:101, vm:102 эквивалентны одному правилу для vm:100, vm:101, vm:102.

Примечание

Если ресурсы, включённые в правило с положительной привязкой, уже запущены на разных узлах, HA Manager переместит их на узел, на котором запущено наибольшее количество этих ресурсов. Если количество ресурсов на узлах одинаково, выбирается узел с именем, первым в алфавитном порядке.
Пример конфигурации правил привязки ресурсов (/etc/pve/ha/rules.cfg):
resource-affinity: ha-rule-6827bc89-3620
    affinity negative
    resources ct:101,vm:104
⁠

Таблица 40.5. Свойства правила привязки ресурсов

Свойство
Описание
affinity: <negative | positive>
Определяет, должны ли ресурсы размещаться на одном узле (positive) или на разных узлах (negative)
resources: <тип>: <имя>{,<тип>: <имя>}*
Список идентификаторов ресурсов HA, к которым применяется правило
Логика взаимодействия правил и конфликты
Если ресурсы A, B и C связаны правилом positive affinity, а ресурс A также участвует в правиле negative affinity с ресурсом D, то ресурсы B и C также будут иметь отрицательную привязку к ресурсу D.
Конфликт возникает, если два или более одинаковых ресурса одновременно входят в правила с положительной и отрицательной привязкой. В этом случае конфликтующие правила отключаются, поскольку невозможно одновременно размещать одни и те же ресурсы на одном узле и на разных узлах.
Взаимодействие с правилами привязки к узлам
Если ресурсы vm:100, vm:101, vm:102 входят в одно правило positive affinity, а для vm:102 задано правило привязки к узлу pve03, то все три ресурса будут ограничены узлом pve03.
Однако нельзя включать ресурсы, связанные одним правилом положительной привязки, в разные правила привязки к узлам. Такое сочетание правил не поддерживается: соответствующие правила будут отключены.

⁠40.3.2.3. Конфликты правил и ошибки

Перед применением правила HA проверяются на выполнимость. Правила, не прошедшие проверку, отключаются до устранения конфликтов и ошибок.
Проверяются следующие условия:
  • Ресурс HA может входить только в одно правило привязки к узлам.
  • Правило привязки ресурсов должно содержать не менее двух ресурсов.
  • Правило negative affinity не может включать больше ресурсов, чем узлов в кластере (для размещения каждого ресурса на отдельном узле должно хватать узлов).
  • Один и тот же набор ресурсов не может одновременно входить в правила positive affinity и negative affinity.
  • Ресурс может одновременно участвовать в правилах привязки к узлам и к ресурсам, только если правило к узлам использует один класс приоритетов.
  • Ресурсы, входящие в правило positive affinity, могут участвовать не более чем в одном правиле привязки к узлам.
  • Для ресурсов, входящих в правило negative affinity, должно быть достаточно узлов с учётом ограничений, заданных правилами привязки к узлам.