Какой тип кластеризации? В PVE есть несколько технологий кластеризации. Большинство технологий, которые полагаются на консенсус или репликацию, требуют три+ узла, и у вас это есть. Вы можете создать "кластер" PVE и не использовать HA. Это кластер? Здесь уже были ответы по поводу конкретных ограничений задержки, что странно, потому что мы даже не пришли к согласию о том, о чем вообще говорим! Если говорить в целом: вы упомянули 10Gb/s каналы связи, так что, предполагая, что у хостов также есть 10Gb каналы, то все будет в порядке. У меня есть несколько "растянутых кластеров" через 1Gb/s медные каналы для репликации. Я даже выполнял миграцию хранилища в реальном времени через них, и все хорошо. Да, я общаюсь с бывшими сотрудниками VMware! К счастью, PVE справляется. Чтобы уточнить: нет никаких установленных минимальных требований к задержке для каких-либо из технологий кластеризации... сами по себе. Однако, в зависимости от того, какую из них вы используете и что делаете, вам может захотеться установить собственные минимальные значения. Ceph кластер по умолчанию отключит OSD после пяти минут отсутствия. Так что это ограничение задержки в пять минут для Ceph. У вас все будет хорошо.

У нас в продакшене растянутый кластер: два ноды находятся в основном серверной, а одна — за пределами основного здания. Все NIC подключены напрямую к коммутаторам core, каждый сервер оснащен 8 x SFP+ портами. Используем Ceph для хранения с фактором репликации 3. Задержки стабильно ниже 2 мс, система работает надежно. Мы знаем, что при выходе из строя двух нод продакшн пострадает, но целостность данных останется нетронутой. Допустимая задержка должна быть < 5 мс.

Окей, а что если нет "основной" серверной? Допустим, у меня два идентичных места (например, две разные комнаты в соседних зданиях), и я хочу, чтобы каждая комната сразу же перехватывала управление. Представь себе, вырубился свет в одном здании, пожар, вода, что угодно. Или, может, запланированное обслуживание в одной комнате – пришел электрик, чтобы поколдовать над щитом, и ему нужно выключить все. Как лучше спроектировать такую систему? (Proxmox HCI с Ceph) Нужно ли ставить хотя бы 2 сервера в каждой комнате? Или 3? Нужно ли подключать отдельное устройство-свидетеля в одной из комнат? А что, если комната со свидетелем останется без света? Как комната без свидетеля узнает, что ей нужно перехватить управление? Можно ли это контролировать вручную?

Ceph требует минимум 3 работающих сервера, насколько я знаю: https://forum.proxmox.com/threads/fabu-can-i-use-ceph-in-a-_very_-small-cluster.15671/. Нужна более чем половина серверов в комнате, которые не пострадали. Или распредели половину серверов по каждой комнате и помести QDevice в другую комнату (например, рядом с локальным роутером или в другом месте, где соединяются сети обеих комнат). Если работают более чем половина серверов, QDevice (который дает решающий голос, когда работает ровно половина/доступно) для кворума не нужен. (Комната без свидетеля никогда не перехватит управление автоматически, потому что это может привести к разделению мозга). Да, можно, но это может вызвать проблемы (вроде разделения мозга), если установить слишком низкое ожидаемое количество голосов.

Я знаю десятки компаний, которые разделили свои серверные комнаты на два отдельных местоположения. Все крупные провайдеры хранения данных (Netapp, DataCore, HPE, DELL и т.д.) имеют решения для этого. По-моему, у них у всех есть какой-нибудь синхронный репликатор, который можно установить в двух местах. Не могу поверить, что нельзя использовать PVE/CEPH не из-за нехватки ресурсов для запуска всех ВМ (это просто вопрос о том, сколько хостов купить), а просто потому, что должно быть нечетное количество хостов?

Ну это я могу простить. Я имею в виду, если здание горит, все равно придется как-то "вручную" вмешиваться... пожарные и прочее. Представь себе конфигурацию с 6 хостами в общей сложности, и по 3 хоста на каждой стороне. Трех хостов вполне хватит, чтобы запускать все мои ВМ по CPU+RAM. Если одна комната погаснет, мне нужно будет убедиться, что все мои данные имеют как минимум две копии на двух хостах, но чтобы хотя бы одна копия была в каждой комнате, наверное? Есть ли способ сказать Ceph, чтобы он хранил копии данных именно так? Если это так, я смогу снизить количество голосов в моей выжившей комнате до 3 и снова запустить все мои ВМ без потери данных?