У нас появилась новая критическая проблема, которая стала проявляться на нескольких наших узлах PVE 3.0. Во время ночного создания снимков vzdump, вероятно при интенсивных операциях ввода-вывода с файлами внутри контейнера, весь сервер зависает в состоянии iowait. Процессы продолжают работать, но, по всей видимости, ни одна дисковая операция не завершается, средняя нагрузка поднимается до сотен. Помогает только жесткая перезагрузка (даже shutdown -rn не может успешно перезапустить сервер). Проблема стала появляться с тех пор, как мы на прошлой неделе обновились до нового ядра 2.6.32-20!
htop показывает огромное значение kernel iowait
iotop не показывает операций ввода-вывода со стороны userland
в консоли появляются сообщения о тайм-ауте зависших задач
Окружение:
Intel Core i7, контроллер Adaptec HW RAID
Proxmox VE 3.0
Файловая система ext4, планировщик deadline
Код:
pve-manager: 3.0-23 (pve-manager/3.0/957f0862)
running kernel: 2.6.32-20-pve
proxmox-ve-2.6.32: 3.0-100
pve-kernel-2.6.32-20-pve: 2.6.32-100
pve-kernel-2.6.32-19-pve: 2.6.32-96
pve-kernel-2.6.32-18-pve: 2.6.32-88
lvm2: 2.02.95-pve3
clvm: 2.02.95-pve3
corosync-pve: 1.4.5-1
openais-pve: 1.1.4-3
libqb0: 0.11.1-2
redhat-cluster-pve: 3.2.0-2
resource-agents-pve: 3.9.2-4
fence-agents-pve: 4.0.0-1
pve-cluster: 3.0-4
qemu-server: 3.0-20
pve-firmware: 1.0-22
libpve-common-perl: 3.0-4
libpve-access-control: 3.0-4
libpve-storage-perl: 3.0-8
vncterm: 1.1-4
vzctl: 4.0-1pve3
vzprocps: 2.0.11-2
vzquota: 3.1-2
pve-qemu-kvm: 1.4-13
ksm-control-daemon: 1.1-1
htop показывает огромное значение kernel iowait
iotop не показывает операций ввода-вывода со стороны userland
в консоли появляются сообщения о тайм-ауте зависших задач
Окружение:
Intel Core i7, контроллер Adaptec HW RAID
Proxmox VE 3.0
Файловая система ext4, планировщик deadline
Код:
pve-manager: 3.0-23 (pve-manager/3.0/957f0862)
running kernel: 2.6.32-20-pve
proxmox-ve-2.6.32: 3.0-100
pve-kernel-2.6.32-20-pve: 2.6.32-100
pve-kernel-2.6.32-19-pve: 2.6.32-96
pve-kernel-2.6.32-18-pve: 2.6.32-88
lvm2: 2.02.95-pve3
clvm: 2.02.95-pve3
corosync-pve: 1.4.5-1
openais-pve: 1.1.4-3
libqb0: 0.11.1-2
redhat-cluster-pve: 3.2.0-2
resource-agents-pve: 3.9.2-4
fence-agents-pve: 4.0.0-1
pve-cluster: 3.0-4
qemu-server: 3.0-20
pve-firmware: 1.0-22
libpve-common-perl: 3.0-4
libpve-access-control: 3.0-4
libpve-storage-perl: 3.0-8
vncterm: 1.1-4
vzctl: 4.0-1pve3
vzprocps: 2.0.11-2
vzquota: 3.1-2
pve-qemu-kvm: 1.4-13
ksm-control-daemon: 1.1-1
