+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Обслуживание большой части кластера., Proxmox Виртуальная Среда

kluvi

Guest

23.05.2025 21:59:00

Привет. У нас сейчас немного специфическая ситуация... У нашего кластера 25 нод - 5 нод в одном дата-центре, 20 нод в другом. Оба дата-центра напрямую соединены оптоволокном. Мы хотим заменить свитч во втором дата-центре (20 нод), потому что он немного барахлит. Переподключать серверы по одному к новому свитчу не получится, потому что старый не удаляет записи из своей таблицы mac-адресов (и когда мы пытались подключить один сервер к новому свитчу, происходили очень плохие вещи). Поэтому нам нужно переподключить все серверы сразу. Время простоя для ВМ – не проблема, но я переживаю за сам кластер PVE. Какой рекомендуемый способ временно отключить 20 из 25 нод PVE? (всего на несколько минут) Кстати, мы не используем Ceph на нодах, но большинство ВМ используют общий NVMe/TCP storage.

alexskysilk

Guest

23.05.2025 22:16:00

Пока у тебя достаточно ресурсов в "маленькой" секции, просто перебрось нагрузку, а потом выключи все ноды в "большой" секции. Проведи необходимое обслуживание и снова включи их. Кстати, есть ещё один вариант: оставить старый и новые свитчи подключенными одновременно, но держать "новую" сеть на отдельном VLAN и отдельном интерфейсе Corosync. Убедись, что оба набора портов свитча обеспечивают доступ к обоим VLAN, и что и старый, и новый свич имеют связь с удаленным набором узлов. Как только связь на новом свитче будет налажена, можно выключить и отключить старый без простоя.

spirit Guest	#3 0 24.05.2025 17:29:00 Не должно быть проблем, но если используете HA, то обязательно отключите его перед этим.

kluvi

Guest

26.05.2025 20:59:00

Спасибо вам обоим... К сожалению, у нас недостаточно ресурсов, чтобы перенести рабочую нагрузку на меньшую секцию. Второй вариант выглядит перспективно, я подумаю над ним. Есть ли какой-нибудь простой способ временно отключить миграции HA...? Я знаю, что могу использовать API / bash-скрипт и сохранить список ВМ с настроенным HA (не все ВМ имеют HA), затем массово отключить на всех ВМ и затем снова включить из сохраненной "резервной копии". Но это выглядит слишком сложно. Я также знаю о Datacenter > Options > HA settings: freeze, но это не работает, когда что-то идет не так во время нашей запланированной процедуры и все вырубается сразу.

spirit

Guest

27.05.2025 00:16:00

Переместите файл /etc/pve/ha/resources.cfg во временную папку /tmp/, а затем верните его обратно. Не забудьте закрыть сторожевой механизм (watchdog), чтобы избежать "ограждения" (fencing). Пока единственный способ сделать это:

1. Остановить службу pve-ha-lrm на каждом узле по отдельности.
2. Остановить службу pve-ha-crm на каждом узле по отдельности.

После завершения обновления выполните действия в обратном порядке. Кстати, использование HA только с двумя ЦОД крайне не рекомендуется. Если произойдет сбой канала связи (split brain) или перебои с оптоволоконным кабелем между ЦОД, или если основной ЦОД выйдет из строя, ваши 5 узлов на втором сайте будут "ограждены" (fenced) и перезагрузятся. В этом случае HA не сможет автоматически перенести виртуальные машины на второй сайт.

kluvi

Guest

04.06.2025 20:59:00

Спасибо ещё раз... сегодня провели "операцию", и всё прошло хорошо – в один момент узлы кластера начали вести себя странно (начну новую тему об этом), но отключение HA на ВМ и остановка LRM+CRM спасли наш кластер от катастрофы.

LnxBil Guest	#7 0 04.06.2025 23:44:00 Здорово, что получилось. Я правильно понимаю, что у тебя был только один переключатель вместо рекомендованных двух?

kluvi Guest	#8 0 06.06.2025 08:24:00 Да, у нас был только один свитч… это было лишь временное решение перед тем, как перейдём к финальной PA-паре 100G свитчей. Кстати, для справки, вот тема с другой проблемой, которую мы обнаружили во время миграции.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры