Всем привет! Недавно мы апгрейднули нашу магистраль до 50G и столкнулись с интересными наблюдениями в нашем кластере из 3 узлов. Мы работаем на последней версии Proxmox 8.3 с Ceph 18.2. Ceph VM-Pool настроен с 3-кратным реплицированием по всем трём узлам (то есть по одной копии на каждом узле).

Когда мы запускаем бэкапы (как LXC, так и KVM), CEPH читает VM-образ с блочного устройства / группы размещения, которая назначена первичной. Эта первичная группа может находиться как на локальном сервере, так и на одном из двух других. Чтобы предотвратить такое поведение, мы теперь установили параметр rbd_read_from_replica_policy в значение localize. По умолчанию читается из первичных групп размещения, а настройка localize отдаёт предпочтение расположению, максимально близкому к серверу с виртуальной машиной.

Для нашего 3-узлового кластера с 3-кратным реплицированием это полностью исключает сетевой трафик во время бэкапов (все чтения происходят локально). В наших больших кластерах (20-50 узлов) при этом заметно снижается нагрузка на сеть во время резервного копирования.

Вопрос: почему это значение по умолчанию стоит не localize, а первичным? @fabian (прости, что сразу тегаю, но у нас отлично получается играть в пинг-понг вместе)

Всех благ, Флориан