SDN Fabrics — технология, позволяющая строить маршрутизируемые overlay-сети между узлами кластера без использования внешних коммутаторов. В PVE поддерживаются два типа fabric-сетей: OpenFabric и OSPF.
OSPF (Open Shortest Path First) — протокол динамической маршрутизации для IP-сетей, предназначенный для обмена маршрутной информацией внутри одной автономной системы.
OpenFabric — протокол маршрутизации, разработанный специально для для сетей центров обработки данных (ЦОД) и основанный на IS-IS. Он оптимизирован под архитектуру spine-leaf.
Fabric-сети в PVE SDN обеспечивают автоматическую маршрутизацию между узлами кластера. Они упрощают настройку underlay-сетей и служат основой для SDN-развёртываний.
При создании fabric автоматически настраиваются протоколы маршрутизации на физических сетевых интерфейсах, обеспечивая отказоустойчивую и самонастраивающуюся сетевую ткань, способную адаптироваться к изменениям топологии. Такие fabric-сети могут использоваться:
как полносвязная (full mesh) сеть для Ceph;
в качестве underlay для EVPN-контроллера;
в качестве underlay для VXLAN-зон.
PVE использует реализации OpenFabric и OSPF из состава FRRouting (FRR), поэтому следует убедиться, что установлены необходимые пакеты:
# apt-get install frr frr-pythontools
И на всех узлах кластера включена служба:
# systemctl enable frr.service
Права доступа:
для просмотра конфигурации SDN-fabric требуются права SDN.Audit или SDN.Allocate;
для создания или изменения конфигурации fabric необходимы права SDN.Allocate;
для просмотра конфигурации узла требуются права Sys.Audit или Sys.Modify;
при добавлении или обновлении узлов в составе fabric дополнительно требуются права Sys.Modify на конкретный узел, так как операция изменяет файл /etc/network/interfaces.d/sdn на этом узле.
Каждому узлу в fabric требуется уникальный router-ID:
При создании fabric автоматически создаётся dummy-интерфейс с адресом router-ID, который функционирует как loopback-интерфейс fabric (по умолчанию — пассивный).
Для каждого fabric автоматически генерируются:
Эти правила настраивают маршрутизатор так, чтобы исходный адрес исходящих пакетов переписывался на адрес dummy-интерфейса. Например, при выполнении
ping другого узла источником трафика будет IP-адрес dummy-интерфейса, а не физического интерфейса. Это обеспечивает единообразие выбора исходного адреса и корректную работу маршрутизации.
IPv6 поддерживается только в OpenFabric-сетях. Для корректной работы таких fabric-сетей (особенно в не-full-mesh топологиях) необходимо включить глобальную пересылку IPv6 на всех узлах. Без этого транзитные узлы не смогут пересылать пакеты.
Включение IPv6 forwarding выполняется добавлением в файл
/etc/network/interfaces строки:
post-up sysctl -w net.ipv6.conf.all.forwarding=1
Эта команда активирует глобальную пересылку IPv6 при поднятии интерфейса.
Это влияет на работу механизмов IPv6, таких как SLAAC, Neighbor Advertisements, Router Solicitations и Router Advertisements.
