Аспро: ЛайтШоп [тема: Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).]

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 08:28:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если учесть твой zvolblocksize, то вообще будет веселее. Тесты на 4K на самом деле не очень применимы к реальной жизни в большинстве случаев. PVE использует не 4K в качестве zvolblocksize, а предпочитает лучшую компрессию и лучшую производительность в "реальных условиях", поэтому будет увеличение числа операций чтения и записи. Я уже комментировал в другой твоей теме, что ты путаешь ZVOL (блочное устройство для VM) и обычный ZFS dataset (файловая система для LXC), у которых разные цели и разные реализации, например, у dataset нет сопоставимого zvolblocksize, у него есть recordsize, который ограничивает его максимальный размер. Больший recordsize лучше сжимается и, следовательно, гораздо лучше в реальной производительности, но и плохо в синтетических тестах fio.
27.05.2025 08:28:00, LnxBil.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 01:44:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похоже, продолжение здесь: https://forum.proxmox.com/threads/z...nchmarking-part-2-zfs-in-vm-very-slow.166705/.
27.05.2025 01:44:00, leesteken.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 01:13:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это зарыто в оригинальном сообщении, но это Intel P4510 4TB.
27.05.2025 01:13:00, sevimo.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 01:13:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Hey @D3V,

Just wanted to quickly share something that's been bugging me. I've noticed that the new authentication flow is... let's just say "challenging" for our less tech-savvy users. 😅

Here's a breakdown of what I'm seeing:

* **Confusing terminology:** Terms like "OAuth 2.0" and "API Keys" are flying over their heads. We need to simplify the language!
* **Too many steps:** The process involves way too many clicks and confirmations. It feels like an obstacle course.
* **Lack of clear instructions:** The error messages are cryptic and don't offer helpful guidance.

I think we should prioritize making this experience more user-friendly. Maybe we could:

* **Add a helpful walkthrough:** A step-by-step guide would be a lifesaver.
* **Use simpler language:** Replace technical jargon with plain English.
* **Streamline the flow:** Reduce the number of steps and make the process more intuitive.

What are your thoughts? Let’s chat about this when you have a moment.

Thanks,
[Your Name]
#UX #Authentication #Usability
27.05.2025 01:13:00, Impact.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 01:05:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Конфигурация vdev – это пока что просто один диск. Я планировал запускать на зеркалах из двух дисков, но решил начать с меньшего количества переменных на одном диске.
27.05.2025 01:05:00, sevimo.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 01:02:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я видел видео на YouTube, где говорится, что Linux не справляется с большим количеством (событийно-ориентированных) NVMe-накопителей. Не знаю, какую конфигурацию vdev ZFS вы используете. RAIDz1/2/3 совсем не подходит для виртуальных машин. Но, с другой стороны, ваши тесты производительности, кажется, не включают накладные расходы виртуальных машин. Может быть, вы правы, и ZFS на Linux сможет это исправить.
27.05.2025 01:02:00, leesteken.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 00:52:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Моя цель — не отговаривать от использования ZFS, включая и отговаривания себя. ZFS мне очень нравится и, скорее всего, я буду использовать его во многих случаях. Для моих рабочих нагрузок ограничение по дисковому IO обычно не является проблемой. Однако я был удивлен различиями в производительности на _некоторых_ рабочих нагрузках. Поскольку я не видел однозначных заявлений вроде "синхронные нагрузки с низким количеством запросов могут быть на порядок медленнее на ZFS", я предположил (и надеюсь), что это что-то, что я делаю не так, и это можно значительно улучшить. Я бы мог смириться с 50% падения, но смотрю на 5-10 раз в некоторых случаях. Этого нельзя решить просто добавлением более мощных ресурсов (более быстрый диск/CPU). И BTRFS, вероятно, последняя система, которую я буду рассматривать, учитывая её историю и стабильность (реальную или воспринимаемую). Если то, что я вижу для zvols, является типичным, то ответом будет использование ZFS, если дисковое IO не является ограничением вообще (для многих случаев использования), а там, где это имеет значение, лучше остаться на чём-то другом — возможно, thick LVM для максимальной производительности, или даже thin LVM может быть приемлемым. Но в каждом конкретном случае. Также нужно посмотреть, масштабируется ли такая разница в производительности при переходе на SATA SSD, или она проявляется только с очень быстрыми NVMe дисками.
27.05.2025 00:52:00, sevimo.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 00:32:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У ZFS много накладных расходов из-за всех этих функций. Ему также требуется много синхронных записей, но, судя по другому посту, твои диски должны это выдерживать. Лично мне не жалко потери производительности в 50%, ради контрольных сумм и прочих функций. Не хочешь использовать ZFS - пожалуйста. Может, протестируешь BTRFS, у него много схожих функций? Сам подумываю о переходе.
27.05.2025 00:32:00, leesteken.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 00:21:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Другой вопрос, но для тех, кто интересуется, насколько ZFS требователен к CPU, я провел тест максимальной последовательной записи (на хосте, не синхронизировано) примерно так: Код: fio --filename=/dev/mapper/b--lvm--thk--nvme01-vm--101--disk--0 --ioengine=libaio --loops=1 --size=10G --time_based --runtime=60 --group_reporting --stonewall --name=cc1 --description="CC1" --rw=write --bs=1M --direct=1 --iodepth=64 --numjobs=1 --sync=0.

Сырой раздел и толстый LVM без проблем выжали полосу пропускания диска примерно в ~2.7 ГБ/с. Использование CPU у LVM никогда не превышало 5%. ZFS оказался ограничен 100% CPU, и достиг лишь около ~1.6 ГБ/с. Это на системе '8 x Intel® Xeon® CPU E5-1620 v4 @ 3.50GHz (1 Socket)' – не самый производительный CPU, но разница в использовании заметна. На хосте ничего больше не работало (до и после – использование CPU <1%).
27.05.2025 00:21:00, sevimo.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Tue, 27 May 2025 01:11:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Какая марка и модель единственного диска?

P.S. Извини, я запутался с другой веткой и не заметил, что ты уже это писал.
27.05.2025 01:11:00, leesteken.

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?).

Mon, 26 May 2025 23:53:00 +0300

Тестирование производительности дисков ZFS+VM/LXC, часть 1 (ZFS=медленный?). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я возобновил тестирование производительности диска (см. также исходную тему на https://forum.proxmox.com/threads/sync-writes-to-zfs-zvol-disk-are-not-sync-under-pve.163066/), и наткнулся на еще несколько неочевидных результатов. Я разделю их на отдельные темы, поскольку симптомы разные. В общем, я провожу множество разных тестов fio и сравниваю производительность на хосте с производительностью внутри VM и LXC контейнера. Основной упор сделан на ZFS, но я также провел несколько тестов с использованием LVM и thin LVM, чтобы выявить проблемы. Большинство тестов fio выполняются с использованием блочных устройств, за исключением тестов LXC, которые записывают в файл на корневом диске (лежащем на таком блочном устройстве). Мне не удалось передать блочное устройство напрямую в контейнер, хотя я и не очень старался. Тесты проводятся на Intel P4510 NVMe SSD (4TB). Итак, в части 1 я сосредоточусь на тестах, которые, кажется, показывают, что ZFS volumes работают неоправданно медленно, даже без виртуализации. Тест 1 такой же, как в предыдущей теме: 10 ГБ 4k записей с iodepth=1 с sync=1: IOPS: необработанный раздел, хост 84000 zvol, хост 18000 zvol, VM 6800 zvol, LXC 18000 LVM, хост 84000 zvol, хост, sync=0 48000 Код: fio --filename=/dev/zvol/b-zmirror1-nvme01/vm-101-disk-0 --ioengine=libaio --loops=1 --size=10G --time_based --runtime=60 --group_reporting --stonewall --name=cc1 --description="CC1" --rw=write --bs=4k --direct=1 --iodepth=1 --numjobs=1 --sync=1 Давайте пока проигнорируем числа для VM и LXC, и просто посмотрим на производительность на хосте. Я вижу, что даже в отсутствие виртуализации использование zvol снижает производительность в таких рабочих нагрузках в пять раз! Я понимаю, что ZFS – не самый быстрый накопитель, но такое снижение выглядит чрезмерным (и становится хуже под VM). Я не вижу какой-то странной высокой загрузки ЦП, так что, вероятно, это не оно. Теперь я не уверен, должны ли ZFS результаты выглядеть именно так? Возможно, это просто так и есть, и мне нужно просто скорректировать ожидания относительно производительности ZFS. Есть некоторые указания, что это может быть правдой: https://forum.proxmox.com/threads/high-iops-in-host-low-iops-in-vm.145268/ Там указанные IOPS номера почти такие же (там не тестировался zvol на хосте), так что, возможно, это нормально, или, скорее, ожидаемо? Для справки, LVM работает почти с хостовой скоростью при тех же условиях тестирования. Даже с sync=0 тест работает почти вдвое медленнее на ZFS по сравнению с необработанным разделом (или LVM) с sync=1! Режим случайного чтения демонстрирует аналогичное замедление, так что это не ограничивается только записью. В итоге, в несколько раз более медленная скорость работы с zvol при определенных рабочих нагрузках – это ожидаемо? Данные конфигурации: Спойлер uname -a VM (Debian 12 live): Code: Linux fiotest 6.1.0-29-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.123-1 (2025-01-02) x86_64 GNU/Linux uname -a LXC (Debian 12): Code: Linux fiopct 6.8.12-10-pve #1 SMP PREEMPT_DYNAMIC PMX 6.8.12-10 (2025-04-18T07:39Z) x86_64 GNU/Linux pveversion -v Code: proxmox-ve: 8.4.0 (running kernel: 6.8.12-10-pve) pve-manager: 8.4.1 (running version: 8.4.1/2a5fa54a8503f96d) proxmox-kernel-helper: 8.1.1 proxmox-kernel-6.8.12-10-pve-signed: 6.8.12-10 proxmox-kernel-6.8: 6.8.12-10 proxmox-kernel-6.8.12-9-pve-signed: 6.8.12-9 proxmox-kernel-6.8.12-8-pve-signed: 6.8.12-8 proxmox-kernel-6.8.11-pve-signed: 6.8.11-pve proxmox-kernel-6.8.10-pve-signed: 6.8.10-pve qemu-server: 8.3.12 smartmontools: 7.3-pve1 spiceterm: 3.3.0 swtpm: 0.8.0+pve1 vncterm: 1.8.0 zfsutils-linux: 2.2.7-pve2 ZFS properties: Code: Exceeded message limit, but nothing overly exciting here: sync=standard, compression=on cat /etc/pve/qemu-server/101.conf Code: agent: 1 boot: order=ide2;net0 cores: 4 cpu: x86-64-v2-AES ide2: local:iso/debian-live-12.9.0-amd64-standard.iso,media=cdrom,size=1499968K memory: 2048 meta: creation-qemu=9.0.2,ctime=1740711583 name: fiotest net0: virtio=BC:24:11:0F:05:39,bridge=vmbr0,firewall=1,tag=11 numa: 0 ostype: l26 scsi0: b-lvm-thk-nvme01:vm-101-disk-0,aio=io_uring,backup=0,cache=none,discard=on,iothread=1,replicate=0,size=11G,ssd=1 scsi1: b-zmirror1-nvme01:vm-101-disk-0,aio=io_uring,backup=0,cache=none,discard=on,iothread=1,replicate=0,size=11G,ssd=1 scsi2: ztest:vm-101-disk-0,aio=io_uring,backup=0,cache=none,discard=on,iothread=1,replicate=0,size=111G,ssd=1 scsi3: b-lvm-thn-nvme01:vm-101-disk-0,aio=io_uring,backup=0,cache=none,discard=on,iothread=1,replicate=0,size=111G,ssd=1 scsihw: virtio-scsi-single smbios1: uuid=7e99887f-d252-43b2-9d91-7027cb2f84c8 sockets: 1 vmgenid: 7b4eb2f9-ab24-4264-ac43-d9602341249b cat /etc/pve/lxc/105.conf Code: arch: amd64 cores: 4 features: nesting=1 hostname: fiopct memory: 2048 net0: name=eth0,bridge=vmbr0,firewall=1,hwaddr=BC:24:11:7D:CF:EC,ip=dhcp,tag=11,type=veth ostype: debian rootfs: b-zmirror1-nvme01:subvol-105-disk-0,mountoptions=discard;lazytime,size=120G swap: 0 unprivileged: 1
26.05.2025 23:53:00, sevimo.