+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Не удается устранить внезапные перезагрузки., Proxmox Виртуальная Среда

some3t1m3s

Guest

22.05.2025 15:34:00

Уже несколько недель я пытаюсь решить следующую проблему: мой Proxmox-сервер случайно перезагружается без видимой причины. Это "жесткая" перезагрузка, как будто кто-то нажимает кнопку перезагрузки. Это происходит от 1 часа до 3 дней. Systemd journal ничего примечательного не показывает перед перезагрузкой, обычно там даже нет записей непосредственно перед перезагрузкой, только "-- Boot [..]". Перезагрузки никак не связаны с нагрузкой. Я не могу спровоцировать перезагрузки, например, когда загружаю VM с Prime95. BMC тоже ничего не логирует, особенно не ошибку "Vcore 0.0 V", которую MC12-LE0 выдает с Ryzen 5950X в определенных обстоятельствах. Моя начальная конфигурация: Gigabyte MC12-LE0 Ryzen 5950X 4x Samsung 32GB DDR4-3200 CL-22-22-22 3x Crucial MX500 250GB Mellanox Connect-X 3 CX311A Seasonic Gold Focus 450W Корпус хорошо вентилируется. Когда я нагружаю процессор нормальными нагрузками, он в конечном итоге достигает 75°C, похоже, это предел. Другие температуры из 'sensors' намного ниже. Я могу прикоснуться к радиатору Connect-X3 рукой и он даже не чувствуется теплым. Что я пробовал до сих пор: Прочитал практически каждую тему в интернете, где упоминаются "Ryzen", "Proxmox" и "Reboot" Удаление всего "опционального" оборудования (не указано здесь, так как очевидно, что это не связано с проблемой) Обновил Proxmox до текущей версии Обновил BIOS и BMC Заменил материнскую плату на новую ASRock X570D4U Обновил BIOS и BMC Установил amd64-microcode Заменил блок питания на новый bequiet! Pure Power 12 M 750W Стресс-тестировал оперативную память с memtest86+ Отключил Core Watchdog в BIOS (и снова включил, когда это не помогло, то же самое со всеми остальными параметрами BIOS) Включил Eco Mode в BIOS Отключил PBO Ручной понизил TDP и лимиты буста еще дальше Отключил Global C-States в BIOS Изменил настройку Power Supply Idle Control Установил все Windows VM тип процессора на x86-64-v2-AES Отключил все Windows VM вообще Урезал ресурсы оставшихся VM так, что vCPU < фактических ядер процессора (16) Установил дополнительное ядро 6.11 kernel Рассматривал возможность нервного срыва и подаче заявления на работу с наименьшим количеством ответственности. Что я еще не пробовал: Замена процессора Замена оперативной памяти, несмотря на то, что она проходит тесты памяти Замена Connect-X 3 Отключение всех VM вообще Хочу отметить, что у меня есть аналогичная конфигурация с TrueNAS Scale, работающая на Gigabyte MC12-LE0, Ryzen 5600, Connect-X 3 CX311A, 4x 32GB Kingston Server ECC RAM, которая работает настолько стабильно, что я даже не удосужился обновить BIOS. У вас есть какие-нибудь идеи или направления, как я могу сузить круг подозреваемых? Вам нужна какая-либо дополнительная информация?

Christoph Lechleitner

Guest

26.05.2025 10:43:00

У нас уже были подобные проблемы в прошлом (PS: апрель-июнь 2024), тогда решили, поменяв материнские платы. Но недавно у нас снова было 2 необъяснимых хард-рибута. Моё 42-е исследование привело меня к https://www.reddit.com/r/Proxmox/comments/1hanfrj/possible_fix_for_random_reboots_on_proxmox_83/ и https://arstechnica.com/civis/threads/why-did-my-proxmox-box-randomly-reboot-itself.1506147/ и через них к https://forum.proxmox.com/threads/w...og-issue-on-asrock-x670e-motherboards.158814/ – все, по сути, предлагают отключить аппаратный сторожевой таймер. Может, это поможет? Буду очень рад, если это сработает

some3t1m3s

Guest

26.05.2025 12:22:00

Спасибо за ответ. А насчет упомянутых сторожевых механизмов (это отдельные вещи?): я уже отключил Core Watchdog на обеих материнских платах, это не решило проблему. Но попробую отключить сторожевой механизм, упомянутый в связи с IPMI в одной из тем. Еще в этих темах валяются какие-то параметры ядра, и я не особо хочу возиться с такими обходными путями, но, может, они помогут сузить круг поиска проблемы. Я как раз получил новую сетевую карту и буду тестировать, решил заодно заменить и CPU. Посмотрим, куда это приведет.

Christoph Lechleitner

Guest

26.05.2025 14:54:00

Спасибо, интересно. К слову, только один из двух недавних перезапусков имеет в конце предыдущего лога следующее: Код: Mai 21 02:13:10 pveipax02 watchdog-mux[2540416]: client watchdog expired - disable watchdog updates
Mai 21 02:13:13 pveipax02 CRON[184207]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Mai 21 02:13:13 pveipax02 CRON[184208]: (root) CMD (/usr/sbin/mt-pvecm-nodecount 2>&1 >/var/log/montools/mt-pvecm-nodecount.log)
Mai 21 02:13:13 pveipax02 watchdog-mux[2540416]: exit watchdog-mux with active connections
Mai 21 02:13:13 pveipax02 pve-ha-lrm[2540489]: loop take too long (60 seconds)
Mai 21 02:13:13 pveipax02 systemd-journald[887]: Received client request to sync journal.
Mai 21 02:13:14 pveipax02 kernel: watchdog: watchdog0: watchdog did not stop! В другом перезапуске были довольно высокие сетевые и дисковые I/O вместе с драйвером сети virtio (которого мы сейчас избегаем в пользу драйвера e1000).

Maximiliano

Guest

26.05.2025 17:08:00

Привет, > 21 мая 02:13:10 pveipax02 watchdog-mux[2540416]: клиент watchdog устарел - отключить обновления watchdog. Похоже, программный сторожевой таймер устарел, что приведет к срабатыванию механизма блокировки узла (перезагрузке). Пожалуйста, посмотрите нашу документацию [1] для получения дополнительной информации. Это происходит всякий раз, когда хост теряет кворум Corosync более чем на минуту (только если есть HA-ресурс). Corosync очень чувствителен к задержкам, поэтому если сеть перегружена, Corosync посчитает ее непригодной для использования. [1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#ha_manager_fencing

Christoph Lechleitner

Guest

26.05.2025 17:44:00

Похоже на ... В этом конкретном случае, да. Документацию я просмотрел много раз, и логи за несколько минут до перезагрузки тоже (

. Всё равно интересно, почему сработал сторожевой таймер, хотя мы отслеживаем загрузку (т.е. /proc/loadavg) каждые 5 минут, была небольшая нагрузка, вероятно, из-за ночных бэкапов, но 2.5-а то должно быть вполне терпимо для машины с 16 ядрами (AMD Ryzen 9 7950X3D), 128 ГБ ОЗУ (использование около 40 ГБ) и 2x2 ТБ NVMe. Собственная панель мониторинга PVE тоже никаких особенных пиков не показывает (кроме всплеска в Gitlab на следующий день). Конечно, это могла быть ночная сетевая заминка, в общем, вздыхаю (хотелось бы настраиваемое время блокировки). Спасибо, что подключились!

some3t1m3s Guest	#7 0 26.05.2025 21:38:00 Я покопался в логах и хочу отметить, что у меня нет сообщения об ошибке "client watchdog expired".

Maximiliano

Guest

27.05.2025 09:34:00

Как я уже говорил, сеть, настроенная на Corosync, была недоступна (с точки зрения Corosync) целую минуту. Рекомендуем:

- Использовать выделенную сетевую карту для Corosync, это может быть карта на 1 Гбит/с;
- Иметь как минимум одну резервную сетевую карту для Corosync;
- Подключать основные сетевые карты напрямую к Corosync, например, его первая сетевая карта не должна быть связана с Linux Bond, Ceph, резервными копиями VM или просто трафиком VM. Трафик VM легко может перегрузить 10-гигобитный канал, если Corosync слушает на том же интерфейсе.

Рекомендуем поддерживать задержку ниже 5 мс в любое время для Corosync [1], идеально — ниже 1 мс.

[1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#pvecm_cluster_network_requirements

some3t1m3s Guest	#9 0 08.06.2025 13:29:00 Наконец-то нашел виновника: похоже, процессор был неисправен. Поставил новенький 5950X, и с тех пор всё работает как часы, я уже неделю запускаю все возможные ВМ.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры