Аспро: ЛайтШоп [тема: INFO: задача pveproxy: заблокирована более чем на 120 секунд]

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Sun, 06 Aug 2017 23:41:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня постоянно возникает одна и та же проблема: Код: [550669.885916] ИНФО: задача pveproxy:27683 заблокирована более чем на 120 секунд.
[550669.885964] Испорчено: P O 4.4.67-1-pve #1
[550669.886004] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение.
[550669.886074] pveproxy D ffff880eb5393df8 0 27683 1 0x00000004
[550669.886079] ffff880eb5393df8 ffff881030ca2540 ffff881038713800 ffff881037cc7000
[550669.886082] ffff880eb5394000 ffff8810264d89ac ffff881037cc7000 00000000ffffffff
[550669.886085] ffff8810264d89b0 ffff880eb5393e10 ffffffff818605d5 ffff8810264d89a8
[550669.886088] Стек вызовов:
[550669.886100] [] schedule+0x35/0x80
[550669.886104] [] schedule_preempt_disabled+0xe/0x10
[550669.886107] [] __mutex_lock_slowpath+0xb9/0x130
[550669.886112] [] mutex_lock+0x1f/0x30
[550669.886117] [] filename_create+0x7a/0x160
[550669.886122] [] SyS_mkdir+0x53/0x100
[550669.886128] [] entry_SYSCALL_64_fastpath+0x16/0x75 После некоторой отладки я обнаружил, что другие узлы в кластере на самом деле пометили этот узел как оффлайн. Выполнение команд "pvesm status", "pvecm status" или "corosync-quorumtool" просто зависает. Запуск "corosync-quorumtool" с strace показывает, что он пытается подключиться к узлу corosync/cmap, где ждет вечно и в конечном итоге попадает в состояние D (непрерываемое): Код: connect(3, {sa_family=AF_LOCAL, sun_path=@"cmap"}, 110) = 0
setsockopt(3, SOL_SOCKET, SO_PASSCRED, [1], 4) = 0
sendto(3, "\377\377\377\377\0\0\0\0\30\0\0\0\0\0\0\0\0\0\20\0\0\0\0\0", 24, MSG_NOSIGNAL, NULL, 0) = 24
poll([{fd=3, events=POLLIN}], 1, 4294967295 Затем я засек время выполнения реального процесса corosync/cmap, который спамил мне на терминал (десятки тысяч строк в секунду): Код: [pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен)
[pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен)
[pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен)
[pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен)
[pid 3249] write(6, "\17\0\0\0", 4) = -1 EAGAIN (Ресурс временно недоступен)
[...] Убив corosync (pkill -9 corosync) и затем перезапустив его командой "systemctl restart corosync.service", другие терминальные окна, выполняющие "pvecm status", "pvesm status" и "corosync-quorumtool", сразу же начали возвращать текст. Я смог выполнить "systemctl restart pveproxy.service", чтобы перезапустить службу pveproxy, и вуаля, всё вернулось в норму.
06.08.2017 23:41:00, Fusl.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 13:21:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Веб-интерфейс в настоящий момент полностью не работает. Случайные сервисы падают на обоих серверах, которые я перезагрузил (отсутствуют работающие виртуальные машины и невозможно запустить какие-либо ВМ после перезагрузки). Код: [ 720.224373] Call Trace:

[ 720.224376] [] schedule+0x35/0x80
[ 720.224378] [] schedule_preempt_disabled+0xe/0x10
[ 720.224381] [] __mutex_lock_slowpath+0xb9/0x130
[ 720.224384] [] mutex_lock+0x1f/0x30
[ 720.224386] [] filename_create+0x7a/0x160
[ 720.224388] [] SyS_mkdir+0x53/0x100
[ 720.224391] [] entry_SYSCALL_64_fastpath+0x16/0x75
[ 840.224071] INFO: задача spiceproxy:1823 заблокирована более чем на 120 секунд.
[ 840.224142] Состояние: P O 4.4.49-1-pve #1
[ 840.224203] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключит это сообщение.
[ 840.224285] spiceproxy D ffff880214863df8 0 1823 1 0x00000004
[ 840.224290] ffff880214863df8 ffff880216c51cc0 ffffffff81e12540 ffff880035f3f2c0
[ 840.224294] ffff880214864000 ffff880214ee83ac ffff880035f3f2c0 00000000ffffffff
[ 840.224297] ffff880214ee83b0 ffff880214863e10 ffffffff8185c215 ffff880214ee83a8
[ 840.224300] Call Trace:
[ 840.224310] [] schedule+0x35/0x80
[ 840.224313] [] schedule_preempt_disabled+0xe/0x10
[ 840.224316] [] __mutex_lock_slowpath+0xb9/0x130
[ 840.224319] [] mutex_lock+0x1f/0x30
[ 840.224323] [] filename_create+0x7a/0x160
[ 840.224325] [] SyS_mkdir+0x53/0x100
[ 840.224329] [] entry_SYSCALL_64_fastpath+0x16/0x75
[ 840.224333] INFO: задача pvesh:2369 заблокирована более чем на 120 секунд.
[ 840.224395] Состояние: P O 4.4.49-1-pve #1
[ 840.224456] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключит это сообщение.
[ 840.224538] pvesh D ffff8800daeefdf8 0 2369 1 0x00000000
[ 840.224541] ffff8800daeefdf8 ffff880216c51cc0 ffff8802162d0000 ffff8802121072c0
[ 840.224544] ffff8800daef0000 ffff880214ee83ac ffff8802121072c0 00000000ffffffff
[ 840.224548] ffff880214ee83b0 ffff8800daeefe10 ffffffff8185c215 ffff880214ee83a8
[ 840.224551] Call Trace:
[ 840.224553] [] schedule+0x35/0x80
[ 840.224556] [] schedule_preempt_disabled+0xe/0x10
[ 840.224559] [] __mutex_lock_slowpath+0xb9/0x130
[ 840.224561] [] mutex_lock+0x1f/0x30
[ 840.224564] [] filename_create+0x7a/0x160
[ 840.224566] [] SyS_mkdir+0x53/0x100
[ 840.224569] [] entry_SYSCALL_64_fastpath+0x16/0x75
24.04.2017 13:21:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 11:06:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Кажется, некоторые сервисы не запускаются. Код: vwk-prox04:~# service pve-manager status
● pve-manager.service - PVE VM Manager
Загружено: загружено (/lib/systemd/system/pve-manager.service; включён)
Активно: активируется (запуск) с понедельника, 24 апреля 2017 года, 09:51:37 SAST; 1 ч 11 мин назад
Основной PID: 2275 (pvesh)
CGroup: /system.slice/pve-manager.service
└─2275 /usr/bin/perl /usr/bin/pvesh --nooutput create /nodes/localhost/startall

24 апреля 09:51:37 vwk-prox04 systemd[1]: Запуск PVE VM Manager...
root@vwk-prox04:~# service pve-
pve-cluster pve-firewall pve-ha-crm pve-ha-lrm pve-manager
root@vwk-prox04:~# service pve-manager status
● pve-manager.service - PVE VM Manager
Загружено: загружено (/lib/systemd/system/pve-manager.service; включён)
Активно: активируется (запуск) с понедельника, 24 апреля 2017 года, 09:51:37 SAST; 1 ч 12 мин назад
Основной PID: 2275 (pvesh)
CGroup: /system.slice/pve-manager.service
└─2275 /usr/bin/perl /usr/bin/pvesh --nooutput create /nodes/localhost/startall

24 апреля 09:51:37 vwk-prox04 systemd[1]: Запуск PVE VM Manager... Код: vwk-prox04:~# service pve-cluster status
● pve-cluster.service - Файловая система кластера Proxmox VE
Загружено: загружено (/lib/systemd/system/pve-cluster.service; включён)
Активно: активно (работает) с понедельника, 24 апреля 2017 года, 09:47:02 SAST; 1 ч 17 мин назад
Процесс: 1684 ExecStartPost=/usr/bin/pvecm updatecerts --silent (код=завершен, статус=0/УСПЕХ)
Процесс: 1640 ExecStart=/usr/bin/pmxcfs $DAEMON_OPTS (код=завершен, статус=0/УСПЕХ)
Основной PID: 1682 (pmxcfs)
CGroup: /system.slice/pve-cluster.service
└─1682 /usr/bin/pmxcfs

24 апреля 09:47:01 vwk-prox04 pmxcfs[1682]: [status] критично: не удается инициализировать сервис
24 апреля 09:47:02 vwk-prox04 systemd[1]: Запущена файловая система кластера Proxmox VE.
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: обновление информации о кластере (имя кластера vwk00, версия = 7)
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: узел имеет кворум
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [dcdb] уведомление: участники: 1/1972, 2/1682, 3/1672, 4/1267, 5/1379, 6/1919, 7/2132
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [dcdb] уведомление: начинается синхронизация данных
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [dcdb] уведомление: получен запрос на синхронизацию (эпоха 1/1972/0000002C)
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: участники: 1/1972, 2/1682, 3/1672, 4/1267, 5/1379, 6/1919, 7/2132
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: начинается синхронизация данных
24 апреля 09:47:07 vwk-prox04 pmxcfs[1682]: [status] уведомление: получен запрос на синхронизацию (эпоха 1/1972/00000028) Код: vwk-prox04:~# service pveproxy status
● pveproxy.service - PVE API Proxy Server
Загружено: загружено (/lib/systemd/system/pveproxy.service; включён)
Активно: активно (работает) с понедельника, 24 апреля 2017 года, 09:47:07 SAST; 1 ч 18 мин назад
Процесс: 1798 ExecStart=/usr/bin/pveproxy start (код=завершен, статус=0/УСПЕХ)
Основной PID: 1824 (pveproxy)
CGroup: /system.slice/pveproxy.service
├─1824 pveproxy
├─5911 рабочий pveproxy
├─6153 рабочий pveproxy
└─6645 рабочий pveproxy

24 апреля 10:55:15 vwk-prox04 pveproxy[1824]: запускается 1 рабочий процесс
24 апреля 10:55:15 vwk-prox04 pveproxy[1824]: рабочий процесс 6645 запущен
24 апреля 10:55:16 vwk-prox04 pveproxy[6153]: Очистка устаревших записей из кэша сертификатов
24 апреля 10:58:04 vwk-prox04 pveproxy[6645]: Очистка устаревших записей из кэша сертификатов
24 апреля 10:58:56 vwk-prox04 pveproxy[6645]: прокси обнаружил исчезновение клиентского соединения
24 апреля 10:59:21 vwk-prox04 pveproxy[5911]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:00:57 vwk-prox04 pveproxy[6153]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:02:23 vwk-prox04 pveproxy[6153]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:03:59 vwk-prox04 pveproxy[5911]: прокси обнаружил исчезновение клиентского соединения
24 апреля 11:05:25 vwk-prox04 pveproxy[5911]: прокси обнаружил исчезновение клиентского соединения
24.04.2017 11:06:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 10:54:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Обновление по этому поводу — я теперь могу войти в веб-интерфейс сервера, который перезагрузил, однако я не могу запустить ни одну из виртуальных машин.
24.04.2017 10:54:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 09:55:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Сервер только что перезагрузился, но я все равно получаю следующую ошибку: Код: [ 240.224061] ИНФО: задача spiceproxy:1829 заблокирована более чем на 120 секунд. [ 240.224116] Заражено: P O 4.4.49-1-pve #1 [ 240.224160] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. [ 240.224210] spiceproxy D ffff880213cbbdf8 0 1829 1 0x00000004 [ 240.224215] ffff880213cbbdf8 ffff880215b1d3c0 ffff8802162d4c80 ffff880212610000 [ 240.224219] ffff880213cbc000 ffff8800d9ac43ac ffff880212610000 00000000ffffffff [ 240.224222] ffff8800d9ac43b0 ffff880213cbbe10 ffffffff8185c215 ffff8800d9ac43a8 [ 240.224225] Вызов трассировки: [ 240.224235] [] schedule+0x35/0x80 [ 240.224238] [] schedule_preempt_disabled+0xe/0x10 [ 240.224242] [] __mutex_lock_slowpath+0xb9/0x130 [ 240.224244] [] mutex_lock+0x1f/0x30 [ 240.224248] [] filename_create+0x7a/0x160 [ 240.224251] [] SyS_mkdir+0x53/0x100 [ 240.224254] [] entry_SYSCALL_64_fastpath+0x16/0x75 [ 360.224061] ИНФО: задача spiceproxy:1829 заблокирована более чем на 120 секунд. [ 360.224115] Заражено: P O 4.4.49-1-pve #1 [ 360.224159] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. [ 360.224209] spiceproxy D ffff880213cbbdf8 0 1829 1 0x00000004 [ 360.224215] ffff880213cbbdf8 ffff880215b1d3c0 ffff8802162d4c80 ffff880212610000 [ 360.224218] ffff880213cbc000 ffff8800d9ac43ac ffff880212610000 00000000ffffffff [ 360.224221] ffff8800d9ac43b0 ffff880213cbbe10 ffffffff8185c215 ffff8800d9ac43a8
24.04.2017 09:55:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 09:51:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если в proxmox нет встроенного монтирования nfs, о котором я не знаю, то не должно быть никаких? Код: vwk-prox01:~# pvesm status MFS dir 1 57430241024 41122953984 16307287040 72.11% local dir 1 98952796 87066000 6837248 93.22% local-lvm lvmthin 1 361213952 0 361213952 0.50% Код: vwk-prox05:~# pvesm status MFS dir 1 57430241024 41122952768 16307288256 72.11% local dir 1 34703056 9697800 23219400 29.96% local-lvm lvmthin 1 85954560 0 85954560 0.50% MFS смонтирован с помощью fuse, и я могу получить доступ к ресурсу со всех серверов без проблем. Из fstab Код: mfsmount /mnt/mfs fuse mfsmaster=vwk-master01,_netdev 0 0
24.04.2017 09:51:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Fri, 25 Aug 2017 09:38:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Проблема, похоже, вызвана тем, что corosync использует ту же физическую сеть, что и共享存储. Если задержка в сети превышает 2 мс, corosync начинает проявлять проблемы. Разделение этих двух сетей на разные коммутаторы и интерфейсы, похоже, полностью решает эту проблему.
25.08.2017 09:38:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 09:43:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это еще одно свидетельство о том, что есть неотвечающее хранилище (nfs монтирование?)
24.04.2017 09:43:00, dietmar.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 09:37:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я могу подключиться по SSH и выполнить команду на всех серверах без проблем. Однако на серверах с ошибкой я не могу получить доступ к папке /etc/pve/qemu-server. Терминал полностью перестает отвечать. К счастью, все ВМ по-прежнему реагируют. Я отключил все ВМ на одном из хостов и пытался перезапустить хост — на данный момент он отключается уже около 15 минут.
24.04.2017 09:37:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 09:09:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Возможно, сервер NFS не отвечает? Проверьте с помощью # pvesm status.
24.04.2017 09:09:00, dietmar.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Mon, 24 Apr 2017 08:57:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Та же проблема - pveproxy перестает отвечать на некоторых моих узлах, не могу его остановить или запустить. У кого-то есть идеи, в чем причина этого?
24.04.2017 08:57:00, plofkat.

INFO: задача pveproxy: заблокирована более чем на 120 секунд

Tue, 07 Jun 2016 22:25:00 +0300

INFO: задача pveproxy: заблокирована более чем на 120 секунд Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня есть кластер из 4 узлов, подключенный к SAN. Сегодня я получил уведомление по электронной почте от node1 (главный узел) /etc/cron.daily/logrotate: Задание для pveproxy.service не выполнено. Смотрите 'systemctl status pveproxy.service' и 'journalctl -xn' для подробностей. Задание для spiceproxy.service не выполнено. Смотрите 'systemctl status spiceproxy.service' и 'journalctl -xn' для подробностей. Ошибка: ошибка выполнения общего скрипта postrotate для '/var/log/pveproxy/access.log'. run-parts: /etc/cron.daily/logrotate завершился с кодом возврата 1. Когда я вошел, я не смог получить доступ к GUI через главный узел, он доступен с других 3 узлов, но не реагирует. Виртуальные машины продолжают работать и доступны (ssh), но я не могу переместить их онлайн для перезагрузки хоста. pveversion pve-manager/4.2-4/2660193c (используется ядро: 4.4.8-1-pve) Сообщение dmesg INFO: задача pveproxy:9610 заблокирована более чем на 120 секунд. [1931640.280328] Tainted: P O 4.4.8-1-pve #1 [1931640.280359] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. Я не могу завершить задачи с помощью kill -9, и любые команды qm никогда не завершаются (без ошибок). Какой был бы самый безопасный способ исправить это? Войти в каждую виртуальную машину и выполнить корректное завершение работы изнутри, а затем перезагрузить хост? Пожалуйста, дайте совет. Спасибо.
07.06.2016 22:25:00, yaboc.