+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

NMI watchdog: ОШИБКА: программная блокировка - CPU#5 завис., Proxmox Виртуальная Среда

BelCloud

Guest

12.02.2017 16:27:00

На протяжении нескольких дней я постоянно получаю такие ошибки. Как только они начинаются, через несколько минут весь узел зависает. Я не могу выполнять никакие команды, я был залогинен как через консоль idrac, так и по ssh. Единственное решение на данный момент — перезагрузка (но это сильно сказывается на моем времени работы). Код: Сообщение от syslogd@dx411-s09 от 12 февраля 16:16:51 ... kernel:[214551.571665] NMI watchdog: ОШИБКА: мягкая блокировка - CPU#5 завис за 22с! [queueprocd - pr:45363] ^C^C^C^C^C Сообщение от syslogd@dx411-s09 от 12 февраля 16:18:51 ... kernel:[214671.566741] NMI watchdog: ОШИБКА: мягкая блокировка - CPU#5 завис за 22с! [queueprocd - pr:45363] ^C^C^C^C^X^Z^Z Сообщение от syslogd@dx411-s09 от 12 февраля 16:19:19 ... kernel:[214699.565592] NMI watchdog: ОШИБКА: мягкая блокировка - CPU#5 завис за 22с! [queueprocd - pr:45363]

Сообщение от syslogd@dx411-s09 от 12 февраля 16:19:47 ... kernel:[214727.564445] NMI watchdog: ОШИБКА: мягкая блокировка - CPU#5 завис за 22с! [queueprocd - pr:45363]

Сообщение от syslogd@dx411-s09 от 12 февраля 16:20:55 ... kernel:[214795.561655] NMI watchdog: ОШИБКА: мягкая блокировка - CPU#5 завис за 22с! [queueprocd - pr:45363] Код: pveversion -v proxmox-ve: 4.4-79 (работающий ядро: 4.4.35-2-pve) pve-manager: 4.4-12 (работающая версия: 4.4-12/e71b7a74) pve-kernel-4.4.35-1-pve: 4.4.35-77 pve-kernel-4.4.35-2-pve: 4.4.35-79 pve-kernel-4.4.19-1-pve: 4.4.19-66 lvm2: 2.02.116-pve3 corosync-pve: 2.4.0-1 libqb0: 1.0-1 pve-cluster: 4.0-48 qemu-server: 4.0-108 pve-firmware: 1.1-10 libpve-common-perl: 4.0-91 libpve-access-control: 4.0-23 libpve-storage-perl: 4.0-73 pve-libspice-server1: 0.12.8-1 vncterm: 1.2-1 pve-docs: 4.4-3 pve-qemu-kvm: 2.7.1-1 pve-container: 1.0-93 pve-firewall: 2.0-33 pve-ha-manager: 1.0-40 ksm-control-daemon: 1.2-1 glusterfs-client: 3.5.2-2+deb8u3 lxc-pve: 2.0.7-1 lxcfs: 2.0.6-pve1 criu: 1.6.0-1 novnc-pve: 0.5-8 smartmontools: 6.5+svn4324-1~pve80 zfsutils: 0.6.5.8-pve14~bpo80 Согласно BIOS, watchdog отключен (dell r420)

nseba Guest	#2 0 24.03.2017 13:08:00 Привет, не хочу захватывать эту тему, но мне удалось настроить конфигурацию, которая, похоже, работает для меня. Подробности в конце этой темы. Надеюсь, это поможет.

Andrii Guest	#3 0 21.05.2017 09:49:00 Кому-то помог irqbalance?

BelCloud

Guest

21.05.2017 17:10:00

Я по умолчанию установил 500, 3000 кажется очень много для контейнера (это мое личное мнение). Но у меня были контейнеры, которые могли вызвать сбой ноды из-за проблемы с nmi watchdog, с более чем 150 pids. Я вручную ограничил 2-3 таких контейнера до 150. С тех пор, как я установил 500, проблема с nmi watchdog случалась всего один или два раза, так что это идеальное решение, но пока справляется. Сколько контейнеров у вас на ноду?

Andrii Guest	#5 0 21.05.2017 17:13:00 30-50 CT. Но в основном их используют для VPN и других легких услуг. Как минимум 50% CPU свободно. OpenVZ был более стабильным. Как вы определяете эти "плохие" контейнеры?

BelCloud

Guest

21.05.2017 17:30:00

Очень сложно. 1. Решение заключается в том, чтобы быть подключенным к узлу, и когда появляется первая ошибка nmi_watchdog (обычно через KVM), скопировать PID и проверить /proc/PID/cgroup, чтобы увидеть, к какому контейнеру он относится, прежде чем узел упадет. Это не 100% надежно, но в большинстве случаев это указывает на реальную проблему с контейнером. 2. Перемещайте контейнеры по одному, пока узел не перестанет сбоить. 3. ps -Ao pid,cgroup|grep lxc|cut -d / -f3|cut -d, -f1|sort|uniq -c|sort -n Это может показать вам любой контейнер, использующий слишком много PID.

Andrii Guest	#7 0 21.05.2017 17:31:00 Хорошая идея!

Andrii Guest	#8 0 24.05.2017 07:07:00 Нет решений для LXC. Сервера были неработоспособны и продолжали падать каждый день.

BelCloud Guest	#9 0 24.05.2017 14:04:00 Вы пробовали установить более низкий max-pid?

Andrii Guest	#10 0 24.05.2017 14:07:00 Да. Установили 500.

BelCloud Guest	#11 0 24.05.2017 14:09:00 Попробуй 200 в качестве теста.

BelCloud Guest	#12 0 21.05.2017 14:05:00 Для меня нет. Единственное решение, которое сработало для меня — это ограничение количества pids на контейнер.

Andrii Guest	#13 0 21.05.2017 16:38:00 Какой лимит ты установил? 3к не помогло мне.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры