Аспро: ЛайтШоп [тема: Кластер из 3 узлов, расположенных в двух разных серверных комнатах.]

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Sun, 22 Jun 2025 14:30:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это бы работало для PVE, но не для CEPH, который использует другую кластерную технологию. CEPH будет читаться только в случае потери кворума на данных, или даже откажет, если все узлы с данными уйдут в офлайн. Если бы это позволяло работать только с одной копией, что бы случилось, если бы другой, в данный момент недоступный кластер, снова заработает (например, после проблем с конфигурацией коммутатора), и теперь получил бы большинство голосов за данные, и более свежие данные были бы перезаписаны большинством голосов? Ну конечно, тогда используйте это вместо CEPH, и все будет в порядке. CEPH не предназначен для этого, поэтому это не подходящий инструмент для ваших требований. Если вы настроите это в вашей карте CRUSH, то, возможно, это будет возможно. Это не входит в UI PVE, вам нужно будет вручную настраивать карту CRUSH. Да, копия только для чтения (если карта CRUSH имеет данные на обоих "подкластерах"), но писать и работать с ней, вероятно, нет.
22.06.2025 14:30:00, LnxBil.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Wed, 18 Jun 2025 00:29:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Proxmox сам по себе умеет справляться с потерей нескольких нод из-за сбоев в оборудовании. Если же вы теряете сразу много нод (как в вашем случае), может потребоваться ручное вмешательство. Стоит отметить, что чаще всего потеря большого количества нод связана с выходом из строя коммутатора (предотвращая связь между нодами) или ошибкой при настройке управляемого коммутатора человеком, что встречается гораздо чаще, чем пожар или потоп. Сомневаюсь, что обе комнаты подключены к интернету через разные модемы. Скорее всего, там есть локальный роутер, подключенный к модему (или, может быть, два для отказоустойчивости) в каком-нибудь шкафчике. Можно поставить Raspberry Pi, на котором работает QDevice, в тот же шкафчик. Ему не нужно запускать ВМ, ему просто нужно определить, какая комната не сгорела.
18.06.2025 00:29:00, leesteken.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 17:44:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну это я могу простить. Я имею в виду, если здание горит, все равно придется как-то "вручную" вмешиваться... пожарные и прочее. Представь себе конфигурацию с 6 хостами в общей сложности, и по 3 хоста на каждой стороне. Трех хостов вполне хватит, чтобы запускать все мои ВМ по CPU+RAM. Если одна комната погаснет, мне нужно будет убедиться, что все мои данные имеют как минимум две копии на двух хостах, но чтобы хотя бы одна копия была в каждой комнате, наверное? Есть ли способ сказать Ceph, чтобы он хранил копии данных именно так? Если это так, я смогу снизить количество голосов в моей выжившей комнате до 3 и снова запустить все мои ВМ без потери данных?
17.06.2025 17:44:00, His.Dudeness.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 17:14:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Тебе нужно большинство узлов (половина не подходит), которые могут общаться друг с другом (с низкой задержкой): https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_quorum

EDIT: Если половина (или больше) узлов исчезнет, ты можешь вручную уменьшить ожидаемое количество голосов (и исключить эти узлы). Из соображений безопасности это не делается автоматически.
17.06.2025 17:14:00, leesteken.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 15:46:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я знаю десятки компаний, которые разделили свои серверные комнаты на два отдельных местоположения. Все крупные провайдеры хранения данных (Netapp, DataCore, HPE, DELL и т.д.) имеют решения для этого. По-моему, у них у всех есть какой-нибудь синхронный репликатор, который можно установить в двух местах. Не могу поверить, что нельзя использовать PVE/CEPH не из-за нехватки ресурсов для запуска всех ВМ (это просто вопрос о том, сколько хостов купить), а просто потому, что должно быть нечетное количество хостов?
17.06.2025 15:46:00, His.Dudeness.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 15:35:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Тогда вам не подойдут PVE и/или CEPH. Если у вас будет 2 из 3 узлов в одной комнате, и эта комната "выпадет", у вас больше не будет рабочей конфигурации, а оставшийся узел не сможет функционировать без кворума. Если у вас только PVE без CEPH, вы можете запустить qdevice на третьем сервере, в шкафу или где угодно, главное, чтобы он находился в третьем пожарном отсеке по сравнению с двумя другими серверными комнатами. Другой вопрос – какое хранилище вы будете использовать в такой конфигурации. QDevice для ceph не существует, поэтому минимум здесь – три узла, и вам потребуется нечетное количество.
17.06.2025 15:35:00, LnxBil.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 15:14:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ceph требует минимум 3 работающих сервера, насколько я знаю: https://forum.proxmox.com/threads/fabu-can-i-use-ceph-in-a-_very_-small-cluster.15671/. Нужна более чем половина серверов в комнате, которые не пострадали. Или распредели половину серверов по каждой комнате и помести QDevice в другую комнату (например, рядом с локальным роутером или в другом месте, где соединяются сети обеих комнат). Если работают более чем половина серверов, QDevice (который дает решающий голос, когда работает ровно половина/доступно) для кворума не нужен. (Комната без свидетеля никогда не перехватит управление автоматически, потому что это может привести к разделению мозга). Да, можно, но это может вызвать проблемы (вроде разделения мозга), если установить слишком низкое ожидаемое количество голосов.
17.06.2025 15:14:00, leesteken.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 15:12:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Тебе бы понадобилась третья серверная комната и распределить узлы по ним (по одному в каждой, и минимум 3 противопожарных отсека). Я бы не стал трогать внутреннюю конфигурацию / corosync и логику CEPH, а просто собрал бы систему, которой достаточно.
17.06.2025 15:12:00, LnxBil.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 14:28:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, а что если нет "основной" серверной? Допустим, у меня два идентичных места (например, две разные комнаты в соседних зданиях), и я хочу, чтобы каждая комната сразу же перехватывала управление. Представь себе, вырубился свет в одном здании, пожар, вода, что угодно. Или, может, запланированное обслуживание в одной комнате – пришел электрик, чтобы поколдовать над щитом, и ему нужно выключить все. Как лучше спроектировать такую систему? (Proxmox HCI с Ceph) Нужно ли ставить хотя бы 2 сервера в каждой комнате? Или 3? Нужно ли подключать отдельное устройство-свидетеля в одной из комнат? А что, если комната со свидетелем останется без света? Как комната без свидетеля узнает, что ей нужно перехватить управление? Можно ли это контролировать вручную?
17.06.2025 14:28:00, His.Dudeness.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Wed, 28 May 2025 13:57:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за совет. IINerd, будет похожая конфигурация, но с репликацией на Proxmox.
28.05.2025 13:57:00, brucexx.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Wed, 28 May 2025 10:22:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У нас в продакшене растянутый кластер: два ноды находятся в основном серверной, а одна — за пределами основного здания. Все NIC подключены напрямую к коммутаторам core, каждый сервер оснащен 8 x SFP+ портами. Используем Ceph для хранения с фактором репликации 3. Задержки стабильно ниже 2 мс, система работает надежно. Мы знаем, что при выходе из строя двух нод продакшн пострадает, но целостность данных останется нетронутой. Допустимая задержка должна быть < 5 мс.
28.05.2025 10:22:00, IlNerd.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Wed, 28 May 2025 04:59:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я думаю, я видел здесь упоминание о 5мс. С 3 узлами нужно, чтобы было онлайн 2, чтобы получить кворум.
28.05.2025 04:59:00, SteveITS.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Wed, 18 Jun 2025 01:47:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Какой тип кластеризации? В PVE есть несколько технологий кластеризации. Большинство технологий, которые полагаются на консенсус или репликацию, требуют три+ узла, и у вас это есть. Вы можете создать "кластер" PVE и не использовать HA. Это кластер? Здесь уже были ответы по поводу конкретных ограничений задержки, что странно, потому что мы даже не пришли к согласию о том, о чем вообще говорим! Если говорить в целом: вы упомянули 10Gb/s каналы связи, так что, предполагая, что у хостов также есть 10Gb каналы, то все будет в порядке. У меня есть несколько "растянутых кластеров" через 1Gb/s медные каналы для репликации. Я даже выполнял миграцию хранилища в реальном времени через них, и все хорошо. Да, я общаюсь с бывшими сотрудниками VMware! К счастью, PVE справляется. Чтобы уточнить: нет никаких установленных минимальных требований к задержке для каких-либо из технологий кластеризации... сами по себе. Однако, в зависимости от того, какую из них вы используете и что делаете, вам может захотеться установить собственные минимальные значения. Ceph кластер по умолчанию отключит OSD после пяти минут отсутствия. Так что это ограничение задержки в пять минут для Ceph. У вас все будет хорошо.
18.06.2025 01:47:00, Blueloop.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Tue, 17 Jun 2025 15:26:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня два помещения, и каждое из них МОЖЕТ выйти из строя при пожаре или наводнении. Но не оба сразу, так как они находятся в разных зданиях. Если бы у меня был хрустальный шар и я знал бы заранее, я бы схватил огнетушитель и предотвратил бы пожар, разрушающий помещение. Но, конечно, я не знаю, какое именно помещение выйдет из строя (кроме планового простоя). Так как же мне это спроектировать? Строить третье помещение – не вариант…
17.06.2025 15:26:00, His.Dudeness.

Кластер из 3 узлов, расположенных в двух разных серверных комнатах.

Wed, 28 May 2025 04:39:00 +0300

Кластер из 3 узлов, расположенных в двух разных серверных комнатах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Кто-нибудь имеет опыт размещения узлов кластера в разных серверных комнатах? У меня несколько зданий, и я хотел бы узнать, какая допустимая задержка для нормальной работы кластера без проблем. Здания соединены 10-гигабитным оптоволокном, и задержка очень низкая — 1-2 мс. Какая максимальная задержка позволит кластеру работать корректно? Узлы будут находиться в одной сети/подсети/VLAN. Размещение узлов призвано предотвратить проблему с электропитанием в одном здании, которая может привести к сбою всей системы. Планирую 3 узла с репликацией. Спасибо.
28.05.2025 04:39:00, brucexx.