Аспро: ЛайтШоп [тема: огромная задержка ввода-вывода ZFS]

огромная задержка ввода-вывода ZFS

Thu, 09 Apr 2020 19:09:00 +0300

огромная задержка ввода-вывода ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ситуация не изменилась: (iotop -a-P -o-d 5 показывает, что проблема заключается в чтении файлов, а не в записи.
09.04.2020 19:09:00, coldzeek.

огромная задержка ввода-вывода ZFS

Tue, 07 Apr 2020 11:23:00 +0300

огромная задержка ввода-вывода ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за ваш ответ, Вольфганг. Я отключил ZIL и буду следить за ситуацией.
07.04.2020 11:23:00, coldzeek.

огромная задержка ввода-вывода ZFS

Mon, 06 Apr 2020 16:13:00 +0300

огромная задержка ввода-вывода ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Здравствуйте, форум. Я изменил свою конфигурацию, но проблема в том, что если я начинаю загрузку ZFS (например, выполняя резервное копирование через SFTP большого количества мелких файлов по 30-150 КБ, за 1,5 часа скопировал ~48000 файлов или запускаю базу данных MySQL), то задержка ввода-вывода быстро растет, и остальные контейнеры и виртуальные машины очень замедляются. Задержка ввода-вывода ~ 20%-35%. Я попытался сделать тонкие настройки ZFS и MySQL, и это дало результаты, но любые операции с файлами вызывают большие тормоза в виртуальных средах. У меня есть один пул ZFS: datastore1: SATA 6 HDD Toshiba HDWD130 - raidz1 (ashift=12, compression=lz4, atime=off) + логи: msata SSD 256 ГБ + кэш: NVME SSD 1024 ГБ + резервный: SATA 1 HDD Toshiba HDWD130, работающий на 11 LXC и 4 KVM. Процессор AMD Epyc 7551, оперативная память ECC 128 ГБ, swapoff. Опции ZFS: zfs_arc_max = 0. Спойлер: pveversion -v proxmox-ve: 6.1-2 (работает ядро: 5.3.18-3-pve) pve-manager: 6.1-8 (работает версия: 6.1-8/806edfe1) pve-kernel-helper: 6.1-7 pve-kernel-5.3: 6.1-6 pve-kernel-5.3.18-3-pve: 5.3.18-3 pve-kernel-5.3.18-2-pve: 5.3.18-2 pve-kernel-5.3.10-1-pve: 5.3.10-1 ceph-fuse: 12.2.11+dfsg1-2.1+b1 corosync: 3.0.3-pve1 criu: 3.11-3 glusterfs-client: 5.5-3 ifupdown: остаточная конфигурация ifupdown2: 2.0.1-1+pve8 ksm-control-daemon: 1.3-1 libjs-extjs: 6.0.1-10 libknet1: 1.15-pve1 libpve-access-control: 6.0-6 libpve-apiclient-perl: 3.0-3 libpve-common-perl: 6.0-17 libpve-guest-common-perl: 3.0-5 libpve-http-server-perl: 3.0-5 libpve-storage-perl: 6.1-5 libqb0: 1.0.5-1 libspice-server1: 0.14.2-4~pve6+1 lvm2: 2.03.02-pve4 lxc-pve: 3.2.1-1 lxcfs: 4.0.1-pve1 novnc-pve: 1.1.0-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.1-3 pve-cluster: 6.1-4 pve-container: 3.0-23 pve-docs: 6.1-6 pve-edk2-firmware: 2.20200229-1 pve-firewall: 4.0-10 pve-firmware: 3.0-6 pve-ha-manager: 3.0-9 pve-i18n: 2.0-4 pve-qemu-kvm: 4.1.1-4 pve-xtermjs: 4.3.0-1 pve-zsync: 2.0-2 qemu-server: 6.1-7 smartmontools: 7.1-pve2 spiceterm: 3.1-1 vncterm: 1.6-1 zfsutils-linux: 0.8.3-pve1. Есть какие-нибудь предложения?
06.04.2020 16:13:00, coldzeek.

огромная задержка ввода-вывода ZFS

Tue, 07 Apr 2020 06:27:00 +0300

огромная задержка ввода-вывода ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, как быстро работает ваш SSD ZIL (логи) при 4k синхронных записях? Если он не так уж быстр, это может стать узким местом. Я бы также рассматривал возможность удаления кэш-устройства, так как это требует памяти, которая недоступна для ARC.
07.04.2020 06:27:00, wolfgang.

огромная задержка ввода-вывода ZFS

Fri, 10 Apr 2020 07:04:00 +0300

огромная задержка ввода-вывода ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как быстро ваши устройства ZIL с синхронными записями 4k? Вы можете протестировать это таким образом. Код: fio --size=20G --bs=4k --rw=write --direct=1 --sync=1 --runtime=60 --group_reporting --name=test --ramp_time=5s --filename=/dev/sd
10.04.2020 07:04:00, wolfgang.

огромная задержка ввода-вывода ZFS

Tue, 04 Feb 2020 17:22:00 +0300

огромная задержка ввода-вывода ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я недавно мигрировал на Proxmox 6.1-5 с ESXi и столкнулся с проблемой задержки ввода-вывода. У меня три пула ZFS: datastore0: 2 NVME Silicon Motion SM2263XT - зеркалирование (ashift=12, atime=off) 1tb datastore1: 7 HDD Toshiba HDWD130 - raidz1 (ashift=12, compression=lz4, atime=off) 19tb datastore2: 3 HDD Toshiba DT01ACA200 - raidz1 (ashift=12, atime=off) 5,3tb ЦП AMD Epyc 7551 ОЗУ ECC 128gb swapoff параметры zfs zfs_arc_max=25179869184 Проблема: если я перемещаю объем kvm или lxc с datastore 1 на datastore 2, у меня возникает задержка ввода-вывода около 30%-35%. И ВМ на datastore0 имеет очень большой отклик в это время. Сервер не перегружен, средняя нагрузка ~10%.
04.02.2020 17:22:00, coldzeek.