+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

INFO: задача pveproxy: заблокирована более чем на 120 секунд, Proxmox Виртуальная Среда

yaboc

Guest

07.06.2016 22:25:00

У меня есть кластер из 4 узлов, подключенный к SAN. Сегодня я получил уведомление по электронной почте от node1 (главный узел) /etc/cron.daily/logrotate: Задание для pveproxy.service не выполнено. Смотрите 'systemctl status pveproxy.service' и 'journalctl -xn' для подробностей. Задание для spiceproxy.service не выполнено. Смотрите 'systemctl status spiceproxy.service' и 'journalctl -xn' для подробностей. Ошибка: ошибка выполнения общего скрипта postrotate для '/var/log/pveproxy/access.log'. run-parts: /etc/cron.daily/logrotate завершился с кодом возврата 1. Когда я вошел, я не смог получить доступ к GUI через главный узел, он доступен с других 3 узлов, но не реагирует. Виртуальные машины продолжают работать и доступны (ssh), но я не могу переместить их онлайн для перезагрузки хоста. pveversion pve-manager/4.2-4/2660193c (используется ядро: 4.4.8-1-pve) Сообщение dmesg INFO: задача pveproxy:9610 заблокирована более чем на 120 секунд. [1931640.280328] Tainted: P O 4.4.8-1-pve #1 [1931640.280359] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. Я не могу завершить задачи с помощью kill -9, и любые команды qm никогда не завершаются (без ошибок). Какой был бы самый безопасный способ исправить это? Войти в каждую виртуальную машину и выполнить корректное завершение работы изнутри, а затем перезагрузить хост? Пожалуйста, дайте совет. Спасибо.

plofkat Guest	#2 0 24.04.2017 08:57:00 Та же проблема - pveproxy перестает отвечать на некоторых моих узлах, не могу его остановить или запустить. У кого-то есть идеи, в чем причина этого?

dietmar Guest	#3 0 24.04.2017 09:09:00 Возможно, сервер NFS не отвечает? Проверьте с помощью # pvesm status.

plofkat

Guest

24.04.2017 09:37:00

Я могу подключиться по SSH и выполнить команду на всех серверах без проблем. Однако на серверах с ошибкой я не могу получить доступ к папке /etc/pve/qemu-server. Терминал полностью перестает отвечать. К счастью, все ВМ по-прежнему реагируют. Я отключил все ВМ на одном из хостов и пытался перезапустить хост — на данный момент он отключается уже около 15 минут.

dietmar Guest	#5 0 24.04.2017 09:43:00 Это еще одно свидетельство о том, что есть неотвечающее хранилище (nfs монтирование?)

plofkat

Guest

25.08.2017 09:38:00

Проблема, похоже, вызвана тем, что corosync использует ту же физическую сеть, что и共享存储. Если задержка в сети превышает 2 мс, corosync начинает проявлять проблемы. Разделение этих двух сетей на разные коммутаторы и интерфейсы, похоже, полностью решает эту проблему.

plofkat

Guest

24.04.2017 09:51:00

Если в proxmox нет встроенного монтирования nfs, о котором я не знаю, то не должно быть никаких? Код: vwk-prox01:~# pvesm status MFS dir 1 57430241024 41122953984 16307287040 72.11% local dir 1 98952796 87066000 6837248 93.22% local-lvm lvmthin 1 361213952 0 361213952 0.50% Код: vwk-prox05:~# pvesm status MFS dir 1 57430241024 41122952768 16307288256 72.11% local dir 1 34703056 9697800 23219400 29.96% local-lvm lvmthin 1 85954560 0 85954560 0.50% MFS смонтирован с помощью fuse, и я могу получить доступ к ресурсу со всех серверов без проблем. Из fstab Код: mfsmount /mnt/mfs fuse mfsmaster=vwk-master01,_netdev 0 0

plofkat

Guest

24.04.2017 09:55:00

Сервер только что перезагрузился, но я все равно получаю следующую ошибку: Код: [ 240.224061] ИНФО: задача spiceproxy:1829 заблокирована более чем на 120 секунд. [ 240.224116] Заражено: P O 4.4.49-1-pve #1 [ 240.224160] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. [ 240.224210] spiceproxy D ffff880213cbbdf8 0 1829 1 0x00000004 [ 240.224215] ffff880213cbbdf8 ffff880215b1d3c0 ffff8802162d4c80 ffff880212610000 [ 240.224219] ffff880213cbc000 ffff8800d9ac43ac ffff880212610000 00000000ffffffff [ 240.224222] ffff8800d9ac43b0 ffff880213cbbe10 ffffffff8185c215 ffff8800d9ac43a8 [ 240.224225] Вызов трассировки: [ 240.224235] [<ffffffff8185c215>] schedule+0x35/0x80 [ 240.224238] [<ffffffff8185c4ce>] schedule_preempt_disabled+0xe/0x10 [ 240.224242] [<ffffffff8185e1c9>] __mutex_lock_slowpath+0xb9/0x130 [ 240.224244] [<ffffffff8185e25f>] mutex_lock+0x1f/0x30 [ 240.224248] [<ffffffff8121f9ea>] filename_create+0x7a/0x160 [ 240.224251] [<ffffffff81220983>] SyS_mkdir+0x53/0x100 [ 240.224254] [<ffffffff81860336>] entry_SYSCALL_64_fastpath+0x16/0x75 [ 360.224061] ИНФО: задача spiceproxy:1829 заблокирована более чем на 120 секунд. [ 360.224115] Заражено: P O 4.4.49-1-pve #1 [ 360.224159] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. [ 360.224209] spiceproxy D ffff880213cbbdf8 0 1829 1 0x00000004 [ 360.224215] ffff880213cbbdf8 ffff880215b1d3c0 ffff8802162d4c80 ffff880212610000 [ 360.224218] ffff880213cbc000 ffff8800d9ac43ac ffff880212610000 00000000ffffffff [ 360.224221] ffff8800d9ac43b0 ffff880213cbbe10 ffffffff8185c215 ffff8800d9ac43a8

plofkat Guest	#9 0 24.04.2017 10:54:00 Обновление по этому поводу — я теперь могу войти в веб-интерфейс сервера, который перезагрузил, однако я не могу запустить ни одну из виртуальных машин.

plofkat

Guest

#10

24.04.2017 11:06:00

Кажется, некоторые сервисы не запускаются. Код: vwk-prox04:~# service pve-manager status
● pve-manager.service - PVE VM Manager
Загружено: загружено (/lib/systemd/system/pve-manager.service; включён)
Активно: активируется (запуск) с понедельника, 24 апреля 2017 года, 09:51:37 SAST; 1 ч 11 мин назад
Основной PID: 2275 (pvesh)
CGroup: /system.slice/pve-manager.service
└─2275 /usr/bin/perl /usr/bin/pvesh --nooutput create /nodes/localhost/startall

24 апреля 09:51:37 vwk-prox04 systemd[1]: Запуск PVE VM Manager...
root@vwk-prox04:~# service pve-
pve-cluster pve-firewall pve-ha-crm pve-ha-lrm pve-manager
root@vwk-prox04:~# service pve-manager status
● pve-manager.service - PVE VM Manager
Загружено: загружено (/lib/systemd/system/pve-manager.service; включён)
Активно: активируется (запуск) с понедельника, 24 апреля 2017 года, 09:51:37 SAST; 1 ч 12 мин назад
Основной PID: 2275 (pvesh)
CGroup: /system.slice/pve-manager.service
└─2275 /usr/bin/perl /usr/bin/pvesh --nooutput create /nodes/localhost/startall

24 апреля 09:51:37 vwk-prox04 systemd[1]: Запуск PVE VM Manager... Код: vwk-prox04:~# service pve-cluster status
● pve-cluster.service - Файловая система кластера Proxmox VE
Загружено: загружено (/lib/systemd/system/pve-cluster.service; включён)
Активно: активно (работает) с понедельника, 24 апреля 2017 года, 09:47:02 SAST; 1 ч 17 мин назад
Процесс: 1684 ExecStartPost=/usr/bin/pvecm updatecerts --silent (код=завершен, статус=0/УСПЕХ)
Процесс: 1640 ExecStart=/usr/bin/pmxcfs $DAEMON_OPTS (код=завершен, статус=0/УСПЕХ)
Основной PID: 1682 (pmxcfs)
CGroup: /system.slice/pve-cluster.service
└─1682 /usr/bin/pmxcfs

24 апреля 09:47:01 vwk-prox04 pmxcfs[1682]: [status] критично: не удается инициализировать сервис
24 апреля 09:47:02 vwk-prox04 systemd[1]: Запущена файловая система кластера Proxmox VE.
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: обновление информации о кластере (имя кластера vwk00, версия = 7)
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: узел имеет кворум
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [dcdb] уведомление: участники: 1/1972, 2/1682, 3/1672, 4/1267, 5/1379, 6/1919, 7/2132
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [dcdb] уведомление: начинается синхронизация данных
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [dcdb] уведомление: получен запрос на синхронизацию (эпоха 1/1972/0000002C)
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: участники: 1/1972, 2/1682, 3/1672, 4/1267, 5/1379, 6/1919, 7/2132
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: начинается синхронизация данных
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: получен запрос на синхронизацию (эпоха 1/1972/00000028) Код: vwk-prox04:~# service pveproxy status
● pveproxy.service - PVE API Proxy Server
Загружено: загружено (/lib/systemd/system/pveproxy.service; включён)
Активно: активно (работает) с понедельника, 24 апреля 2017 года, 09:47:07 SAST; 1 ч 18 мин назад
Процесс: 1798 ExecStart=/usr/bin/pveproxy start (код=завершен, статус=0/УСПЕХ)
Основной PID: 1824 (pveproxy)
CGroup: /system.slice/pveproxy.service
├─1824 pveproxy
├─5911 рабочий pveproxy
├─6153 рабочий pveproxy
└─6645 рабочий pveproxy

24 апреля 10:55:15 vwk-prox04 pveproxy[1824]: запускается 1 рабочий процесс
24 апреля 10:55:15 vwk-prox04 pveproxy[1824]: рабочий процесс 6645 запущен
24 апреля 10:55:16 vwk-prox04 pveproxy[6153]: Очистка устаревших записей из кэша сертификатов
24 апреля 10:58:04 vwk-prox04 pveproxy[6645]: Очистка устаревших записей из кэша сертификатов
24 апреля 10:58:56 vwk-prox04 pveproxy[6645]: прокси обнаружил исчезновение клиентского соединения
24 апреля 10:59:21 vwk-prox04 pveproxy[5911]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:00:57 vwk-prox04 pveproxy[6153]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:02:23 vwk-prox04 pveproxy[6153]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:03:59 vwk-prox04 pveproxy[5911]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:05:25 vwk-prox04 pveproxy[5911]: прокси обнаружил исчезновение клиентского соединения

plofkat

Guest

#11

24.04.2017 13:21:00

Веб-интерфейс в настоящий момент полностью не работает. Случайные сервисы падают на обоих серверах, которые я перезагрузил (отсутствуют работающие виртуальные машины и невозможно запустить какие-либо ВМ после перезагрузки). Код: [ 720.224373] Call Trace:

[ 720.224376] [<ffffffff8185c215>] schedule+0x35/0x80
[ 720.224378] [<ffffffff8185c4ce>] schedule_preempt_disabled+0xe/0x10
[ 720.224381] [<ffffffff8185e1c9>] __mutex_lock_slowpath+0xb9/0x130
[ 720.224384] [<ffffffff8185e25f>] mutex_lock+0x1f/0x30
[ 720.224386] [<ffffffff8121f9ea>] filename_create+0x7a/0x160
[ 720.224388] [<ffffffff81220983>] SyS_mkdir+0x53/0x100
[ 720.224391] [<ffffffff81860336>] entry_SYSCALL_64_fastpath+0x16/0x75
[ 840.224071] INFO: задача spiceproxy:1823 заблокирована более чем на 120 секунд.
[ 840.224142] Состояние: P O 4.4.49-1-pve #1
[ 840.224203] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключит это сообщение.
[ 840.224285] spiceproxy D ffff880214863df8 0 1823 1 0x00000004
[ 840.224290] ffff880214863df8 ffff880216c51cc0 ffffffff81e12540 ffff880035f3f2c0
[ 840.224294] ffff880214864000 ffff880214ee83ac ffff880035f3f2c0 00000000ffffffff
[ 840.224297] ffff880214ee83b0 ffff880214863e10 ffffffff8185c215 ffff880214ee83a8
[ 840.224300] Call Trace:
[ 840.224310] [<ffffffff8185c215>] schedule+0x35/0x80
[ 840.224313] [<ffffffff8185c4ce>] schedule_preempt_disabled+0xe/0x10
[ 840.224316] [<ffffffff8185e1c9>] __mutex_lock_slowpath+0xb9/0x130
[ 840.224319] [<ffffffff8185e25f>] mutex_lock+0x1f/0x30
[ 840.224323] [<ffffffff8121f9ea>] filename_create+0x7a/0x160
[ 840.224325] [<ffffffff81220983>] SyS_mkdir+0x53/0x100
[ 840.224329] [<ffffffff81860336>] entry_SYSCALL_64_fastpath+0x16/0x75
[ 840.224333] INFO: задача pvesh:2369 заблокирована более чем на 120 секунд.
[ 840.224395] Состояние: P O 4.4.49-1-pve #1
[ 840.224456] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключит это сообщение.
[ 840.224538] pvesh D ffff8800daeefdf8 0 2369 1 0x00000000
[ 840.224541] ffff8800daeefdf8 ffff880216c51cc0 ffff8802162d0000 ffff8802121072c0
[ 840.224544] ffff8800daef0000 ffff880214ee83ac ffff8802121072c0 00000000ffffffff
[ 840.224548] ffff880214ee83b0 ffff8800daeefe10 ffffffff8185c215 ffff880214ee83a8
[ 840.224551] Call Trace:
[ 840.224553] [<ffffffff8185c215>] schedule+0x35/0x80
[ 840.224556] [<ffffffff8185c4ce>] schedule_preempt_disabled+0xe/0x10
[ 840.224559] [<ffffffff8185e1c9>] __mutex_lock_slowpath+0xb9/0x130
[ 840.224561] [<ffffffff8185e25f>] mutex_lock+0x1f/0x30
[ 840.224564] [<ffffffff8121f9ea>] filename_create+0x7a/0x160
[ 840.224566] [<ffffffff81220983>] SyS_mkdir+0x53/0x100
[ 840.224569] [<ffffffff81860336>] entry_SYSCALL_64_fastpath+0x16/0x75

Fusl Guest	#12 0 06.08.2017 23:41:00 У меня постоянно возникает одна и та же проблема: Код: [550669.885916] ИНФО: задача pveproxy:27683 заблокирована более чем на 120 секунд. [550669.885964] Испорчено: P O 4.4.67-1-pve #1 [550669.886004] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. [550669.886074] pveproxy D ffff880eb5393df8 0 27683 1 0x00000004 [550669.886079] ffff880eb5393df8 ffff881030ca2540 ffff881038713800 ffff881037cc7000 [550669.886082] ffff880eb5394000 ffff8810264d89ac ffff881037cc7000 00000000ffffffff [550669.886085] ffff8810264d89b0 ffff880eb5393e10 ffffffff818605d5 ffff8810264d89a8 [550669.886088] Стек вызовов: [550669.886100] [<ffffffff818605d5>] schedule+0x35/0x80 [550669.886104] [<ffffffff8186088e>] schedule_preempt_disabled+0xe/0x10 [550669.886107] [<ffffffff81862589>] __mutex_lock_slowpath+0xb9/0x130 [550669.886112] [<ffffffff8186261f>] mutex_lock+0x1f/0x30 [550669.886117] [<ffffffff8121fd0a>] filename_create+0x7a/0x160 [550669.886122] [<ffffffff81220ca3>] SyS_mkdir+0x53/0x100 [550669.886128] [<ffffffff818646f6>] entry_SYSCALL_64_fastpath+0x16/0x75 После некоторой отладки я обнаружил, что другие узлы в кластере на самом деле пометили этот узел как оффлайн. Выполнение команд "pvesm status", "pvecm status" или "corosync-quorumtool" просто зависает. Запуск "corosync-quorumtool" с strace показывает, что он пытается подключиться к узлу corosync/cmap, где ждет вечно и в конечном итоге попадает в состояние D (непрерываемое): Код: connect(3, {sa_family=AF_LOCAL, sun_path=@"cmap"}, 110) = 0 setsockopt(3, SOL_SOCKET, SO_PASSCRED, [1], 4) = 0 sendto(3, "\377\377\377\377\0\0\0\0\30\0\0\0\0\0\0\0\0\0\20\0\0\0\0\0", 24, MSG_NOSIGNAL, NULL, 0) = 24 poll([{fd=3, events=POLLIN}], 1, 4294967295 Затем я засек время выполнения реального процесса corosync/cmap, который спамил мне на терминал (десятки тысяч строк в секунду): Код: [pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен) [pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен) [pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен) [pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен) [pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен) [...] Убив corosync (pkill -9 corosync) и затем перезапустив его командой "systemctl restart corosync.service", другие терминальные окна, выполняющие "pvecm status", "pvesm status" и "corosync-quorumtool", сразу же начали возвращать текст. Я смог выполнить "systemctl restart pveproxy.service", чтобы перезапустить службу pveproxy, и вуаля, всё вернулось в норму.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры