Аспро: ЛайтШоп [тема: Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".]

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 18 Dec 2024 12:12:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похоже, "990" – это не тот продукт, к которому пользователи Samsung привыкли. Я бы даже сказал, что M2 NVMe сами по себе не являются высокопроизводительными (для корпоративного использования), но от домашнего пользователя ожидаешь чего-то гораздо лучшего, как будто от какого-то неизвестного китайского бренда.
18.12.2024 12:12:00, waltar.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 18 Dec 2024 11:59:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Покупать два сломанных высокопроизводительных SSD подряд — крайне маловероятно, к тому же я использую предыдущий SSD в другой машине уже месяц без каких-либо проблем. smartctl никогда не выдавал ошибок ни для одного из SSD, равно как и интенсивные проверки UEFI. SSD оба в порядке. Это не связано с оборудованием. Похоже на проблему совместимости прошивки между Proxmox/Debian и Samsung SSD 990 PRO, о которой сообщали несколько пользователей Proxmox в этой теме.
18.12.2024 11:59:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 18 Dec 2024 11:33:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похоже, это все еще ошибка оборудования, либо по вине нового диска, либо компонентов хоста. Не думаю, что это связано с софтом и новой установкой PVE.
18.12.2024 11:33:00, waltar.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 18 Dec 2024 09:59:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Смешно и грустно одновременно. Купил новый SSD (та же модель, что и раньше), переустановил PVE с нуля, заменил ZFS на XFS. Вчера вечером, спустя три недели без проблем, я больше не мог войти по SSH. Подключил клавиатуру и экран к машине. На экране входа было вот это:

Code: workstation login: XFS (dm-1): log I/O error -5
XFS (dm-1): Filesystem has been shut down due to log error (0x2).
XFS (dm-1): Please unmount the filesystem and rectify the problem
XFS (dm-1): log I/O error -5
XFS (dm-1): log I/O error -5
XFS (dm-1): log I/O error -5
XFS (dm-1): log I/O error -5

Машина не реагирует на нажатия клавиш. После перезагрузки и анализа логов с помощью journalctl, я вижу... ну, ничего, если учесть, что похоже, файловая система была выключена до того, как успели записаться какие-либо логи. Хоть я и повторяюсь, хочу подчеркнуть, что это новый SSD. Статистически маловероятно, что два разных SSD столкнутся с одной и той же проблемой, верно? Поэтому я постоянно спрашиваю себя: раз это больше не проблема ZFS, и это не аппаратная проблема, связанная с замененным SSD, то что могло вызвать эту проблему?
18.12.2024 09:59:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 13 Nov 2024 14:05:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
По теории, "stripe" не такой надежный, как половина каждого сломанного диска (все 2 штуки здесь). Сбой в работе приведет к краху pve os и всех vm/lxc. Раз у вас проблема с z_wr_iss, записи идут только на один диск, а в зеркале эта нагрузка при записи удваивается. Разве это не лучше?
13.11.2024 14:05:00, waltar.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 13 Nov 2024 13:08:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может быть, проблема, с которой я столкнулся, связана со стрейпингом, а не с зеркалированием? Я думаю о переустановке Proxmox VE с RAID 1 на ZFS, даже если это означает меньше места на диске. Мне сейчас нужна стабильная конфигурация больше, чем место на диске.
13.11.2024 13:08:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 13 Nov 2024 12:04:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Для ZFS я бы использовал их собственную "trim", то есть выполнил бы команду "zpool trim " или использовал системные инструменты ZFS, если они установлены, например: "systemctl enable zfs-trim-weekly@.timer --now". Если ZFS используется в RAID-массиве, контрольные суммы практически бесполезны для восстановления блоков. Всё зависит от того, как сделаны резервные копии, например, с помощью zfs send|receive — тогда лучше оставаться на ZFS, а если нет, то можно использовать только XFS или комбинацию LVM/lvm-thin/XFS.
13.11.2024 12:04:00, waltar.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 13 Nov 2024 11:24:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Написал и запланировал скрипт, который очищает диски и затем производит укорачивание. Bash: #!/bin/bash
readonly pool='rpool'

function scrub_running() {
local scan='scan: scrub in progress'
zpool status ${1} | grep -q "${scan}" || return 1
return 0
}

echo "Запуск очистки на ${pool}..."
scrub_running ${pool} || zpool scrub ${pool}

sleep 3
while :; do
scrub_running ${pool} || break
sleep 10
echo "Очистка все еще выполняется..."
done

echo "Запуск укорачивания"
fstrim -av

exit $?
13.11.2024 11:24:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Wed, 13 Nov 2024 09:51:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты прав, мне нужно чаще запускать trim, так что я запланирую это как cronjob. Спасибо за совет. Когда вчера завис Proxmox, только моя Windows 11 VM работала с MS Word и Диспетчером задач открытыми, больше ничего. Никаких обновлений Windows или сканирования на вирусы, никакая дефрагментация не работала, так что нет ничего, что могло бы оправдать высокую нагрузку на Windows VM. Согласно Диспетчеру задач Windows, машина Windows была на 95% простаивала, но согласно Proxmox, Windows VM имела непоправимо высокий I/O, что привело к зависанию Proxmox. К сожалению, я не могу винить эту проблему в Windows VM, поскольку та же проблема возникала в прошлом с другими VM на основе Linux. Единственное, что объединяет мои Windows и Linux VM, это то, что их виртуальные диски зашифрованы (Veracrypt на Windows, LUKS на Linux), но накладные расходы I/O из-за шифрования дисков не должны быть такими высокими, так как шифрование/дешифрование обрабатывается CPU. Я не считал 990pro премиальными дисками. Это мои стандартные диски во всех моих машинах и ноутбуках. Никогда не было никаких проблем до сих пор, хотя. Я даже не знаю, связана ли эта проблема с оборудованием. Если да, я был бы рад просто заменить диски, что было бы простым решением. Если это связано с ZFS, думаешь ли ты, что мне лучше использовать EXT4 вместо ZFS? Ты упомянул, что моя конфигурация дисков организована в массив из двух NVMe, а не зеркалированием. Да, это сделано намеренно, так как мне нужно пространство файловой системы. Я регулярно делаю резервные копии важных VM и сохраняю дополнительные копии на удаленных машинах, вместо зеркалирования на той же машине. ashift value
13.11.2024 09:51:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Tue, 12 Nov 2024 18:53:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Какой отступ (ashift) у твоего пула? Регулярно делаешь zfs trim для своего nvme пула? Видно, что твоим 990pro не очень нравится такой объем zfs-записей, даже несмотря на то, что это роскошные потребительские nvme — они не корпоративное оборудование, и нельзя ожидать, что они будут работать на максимальных характеристиках для реального использования. Если бы у тебя был пул на HDD, ты мог бы сделать виртуальный zpool с файлами, сгенерированными truncate (внутри реального zpool на смонтированном наборе данных), и потом "живым" переносить одну VM за другой с реального пула на виртуальный и обратно перед следующей VM... но не уверен, что это поможет с твоим nvme пулом.
12.11.2024 18:53:00, waltar.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Tue, 12 Nov 2024 15:34:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
zpool list
12.11.2024 15:34:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Tue, 12 Nov 2024 14:03:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
"zpool list"?
12.11.2024 14:03:00, waltar.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Tue, 12 Nov 2024 13:48:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
zfs list zpool status -v
12.11.2024 13:48:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Tue, 12 Nov 2024 12:23:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как видно по последнему скриншоту iotop, попробуй выполнить "echo 1 > /proc/sys/kernel/task_delayacct", чтобы включить отображение I/O% в целом, прежде чем запускать iotop и смотреть, насколько процессы блокируются из-за ожидания I/O в процентах! В top показывает 20.3 для ожидания, что совсем плохо и является причиной твоих высоких показателей загрузки. Zfs как copy-on-write файловая система технически преобразует последовательный I/O в случайный I/O, особенно для файлов виртуальных машин, так как любая измененная часть записывается в другое место, поэтому обычный механизм read-ahead файловой системы неэффективен (что и является причиной плохого чтения zfs, когда данные превышают начало arc более чем в 2 раза). Но все равно у тебя была проблема с записью на полосатый NVMe (еще не RAID-массив). Высокая фрагментация приводит к высокому случайному I/O, что влечет за собой высокое ожидание I/O и, в конечном итоге, высокую загрузку сервера. Но при этом использование пула действительно небольшое, так что фрагментация не так велика. Регулярное (еженедельное) пробивание zfs по cron – всегда хорошая идея. Какой вывод команды "zfs list" ?
12.11.2024 12:23:00, waltar.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Tue, 12 Nov 2024 12:01:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я думал закрыть этот форум на этой неделе, но, к сожалению, сегодня снова произошла та же проблема, описанная выше, при этом работала только одна ВМ (Windows 11). top: Удалось сделать скриншот "iotop -oa", который прикреплен к этому сообщению. Системный журнал выдал ошибку "ZFS столкнулся с необратимой ошибкой ввода-вывода и был приостановлен", но после жёсткой перезагрузки ни smarttools, ни "zpool status" не показали никаких ошибок. Сейчас снова провожу проверку ZFS.
12.11.2024 12:01:00, dennis1024.

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss".

Fri, 25 Oct 2024 17:59:00 +0300

Proxmox VE показывает очень высокий средний показатель загрузки из-за процесса "z_wr_iss". Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я использую Proxmox VE на Dell Precision 3660 Tower Workstation на ZFS с 128 GB RAM и 13th Gen Intel i9-13900K (24 ядра, 32 потока). Каждые пару недель Proxmox VE зависает из-за очень высокого среднего значения нагрузки из-за процессов z_wr_iss, так что помогает только принудительная перезагрузка. Я проверил логи и сделал несколько проверок оборудования (диски, RAM и т.д.). Проблем с оборудованием не обнаружено. Я уже находил похожие темы на этом форуме, но они были связаны со старыми ядрами.

Дополнительная информация: uname -a df -h zpool status top

Как можно видеть из top, это не похоже на проблему с памятью, поскольку большая часть памяти свободна, хотя среднее значение нагрузки 34.68 очень высокое из-за высокой загрузки ЦП.

Заранее спасибо.

С уважением,
Деннис
25.10.2024 17:59:00, dennis1024.