Итак, с последнего поста я включил многопоточность для zstd (поставил 'zstd: 0' в /etc/vzdump.conf). Теперь zstd может использовать до половины доступных ядер вместо одного. Но настройки почти ничего не изменили. Производительность резервного копирования с zstd все еще хуже, чем у любых других алгоритмов сжатия. Она редко превышает 1 Гбит/с, и только на небольшую долю. Я продолжаю использовать zstd только из-за его отличной скорости восстановления, сопоставимой со скоростью восстановления сырого дампа. Но все равно это разочарование. Этикетка «быстро и хорошо» на деле оказывается не такой уж правдивой, к сожалению.

Я не говорил, что скорость чтения не ограничена. Но она явно выше 1 Гбит/с. Без сжатия резервное копирование дает до 3 Гбит/с (как вы могли видеть в моих предыдущих постах). Lzo и pigz также работают примерно на 1,5 раза лучше, чем zstd. Редакция: Ладно, давайте проверим iperf: ------------------------------------------------------------ Клиент подключается к 10.1.8.69, TCP порт 5001 Размер окна TCP: 85.0 КБ (по умолчанию) ------------------------------------------------------------ [ 3] локальный 10.1.8.61 порт 59928 подключен к 10.1.8.69 порт 5001 [ ID] Интервал Передача Пропускная способность [ 3] 0.0-10.0 сек 9.58 ГБ 8.23 Гбит/сек

root@adm61:/home/avn# dd if=/dev/vms4/vm-112-disk-0 of=/dev/null bs=1M status=progress
53406072832 байт (53 ГБ, 50 ГиБ) скопировано, 146 с, 366 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 149.697 с, 359 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-114-disk-0 of=/dev/null bs=1M status=progress
53540290560 байт (54 ГБ, 50 ГиБ) скопировано, 174 с, 308 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 177.612 с, 302 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-200-disk-0 of=/dev/null bs=1M status=progress
53655633920 байт (54 ГБ, 50 ГиБ) скопировано, 152 с, 353 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 155.575 с, 345 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-212-disk-1 of=/dev/null bs=1M status=progress
53519319040 байт (54 ГБ, 50 ГиБ) скопировано, 137 с, 391 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 140.699 с, 382 МБ/с

root@adm61:/home/avn# dd if=/dev/vms2/vm-267-disk-0 of=/dev/null bs=1M status=progress
53473181696 байт (53 ГБ, 50 ГиБ) скопировано, 147 с, 364 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 151.318 с, 355 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-313-disk-0 bs=1M status=progress | cat >/dev/null
53364129792 байт (53 ГБ, 50 ГиБ) скопировано, 176 с, 303 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 180.358 с, 298 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-320-disk-0 bs=1M status=progress | gzip >/dev/null
2753560576 байт (2.8 ГБ, 2.6 ГиБ) скопировано, 74 с, 37.2 МБ/с^C
2650+0 записей в
2649+0 записей out
2777677824 байт (2.8 ГБ, 2.6 ГиБ) скопировано, 74.9503 с, 37.1 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-342-disk-0 bs=1M status=progress | zstd >/dev/null
53457453056 байт (53 ГБ, 50 ГиБ) скопировано, 278 с, 192 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 282.061 с, 190 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-190-disk-0 bs=1M status=progress | zstd --threads=28 >/dev/null
64290291712 байт (64 ГБ, 60 ГиБ) скопировано, 320 с, 201 МБ/с
61440+0 записей в
61440+0 записей out
64424509440 байт (64 ГБ, 60 ГиБ) скопировано, 324.725 с, 198 МБ/с

root@adm61:/home/avn# dd if=/dev/vms2/vm-120-disk-0 bs=1M status=progress | lzop >/dev/null
33877393408 байт (34 ГБ, 32 ГиБ) скопировано, 78 с, 434 МБ/с
32768+0 записей в
32768+0 записей out
34359738368 байт (34 ГБ, 32 ГиБ) скопировано, 81.0532 с, 424 МБ/с

root@adm61:/home/avn# dd if=/dev/vms2/vm-124-disk-0 bs=1M status=progress | pigz >/dev/null
34199306240 байт (34 ГБ, 32 ГиБ) скопировано, 128 с, 267 МБ/с
32768+0 записей в
32768+0 записей out
34359738368 байт (34 ГБ, 32 ГиБ) скопировано, 130.772 с, 263 МБ/с

Итог: Чтение с диска: ~300-400 МБ/с (зафиксированы результаты до 700 МБ/с, здесь не показано) Чтение и передача в cat: ~300 МБ/с Чтение и передача в gzip: ~37 МБ/с (один поток) Чтение и передача в zstd: ~200 МБ/с (независимо от количества потоков) Чтение и передача в lzop: >400 МБ/с Чтение и передача в pigz: ~260 МБ/с Все тесты проводились на реальных дисках ВМ. Диски принадлежат неиспользуемым ВМ, и каждый диск тестировался только один раз, поэтому кэширование не имеет значения.