http://proxmox.su Новое в теме Скорость резервного копирования ограничена до 1 Гбит/с? форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 30 Apr 2026 04:12:47 +0300 Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я это попробовал и выложил результаты здесь: https://forum.proxmox.com/threads/backup-speed-limited-to-1-gbps.74209/#post-331218 Резервное копирование без сжатия достигает до 3 Гбит/с.
03.09.2020 16:52:00, avn.]]> http://proxmox.su/forum/messages/forum63/message349001/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message349001/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Thu, 03 Sep 2020 16:52:00 +0300 Proxmox Виртуальная Среда Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да... это странно... похоже, у вас все на месте для достижения лучших показателей при записи на ваш FreeNAS. Я слегка озадачен... хотя действительно похоже, что виноват vzdump. Вы пробовали делать бэкап без сжатия?
03.09.2020 13:28:00, budy.]]> http://proxmox.su/forum/messages/forum63/message349000/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message349000/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Thu, 03 Sep 2020 13:28:00 +0300 Proxmox Виртуальная Среда Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
root@adm61:/home/avn# dd if=/dev/vms4/vm-112-disk-0 of=/dev/null bs=1M status=progress
53406072832 байт (53 ГБ, 50 ГиБ) скопировано, 146 с, 366 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 149.697 с, 359 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-114-disk-0 of=/dev/null bs=1M status=progress
53540290560 байт (54 ГБ, 50 ГиБ) скопировано, 174 с, 308 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 177.612 с, 302 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-200-disk-0 of=/dev/null bs=1M status=progress
53655633920 байт (54 ГБ, 50 ГиБ) скопировано, 152 с, 353 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 155.575 с, 345 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-212-disk-1 of=/dev/null bs=1M status=progress
53519319040 байт (54 ГБ, 50 ГиБ) скопировано, 137 с, 391 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 140.699 с, 382 МБ/с

root@adm61:/home/avn# dd if=/dev/vms2/vm-267-disk-0 of=/dev/null bs=1M status=progress
53473181696 байт (53 ГБ, 50 ГиБ) скопировано, 147 с, 364 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 151.318 с, 355 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-313-disk-0 bs=1M status=progress | cat >/dev/null
53364129792 байт (53 ГБ, 50 ГиБ) скопировано, 176 с, 303 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 180.358 с, 298 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-320-disk-0 bs=1M status=progress | gzip >/dev/null
2753560576 байт (2.8 ГБ, 2.6 ГиБ) скопировано, 74 с, 37.2 МБ/с^C
2650+0 записей в
2649+0 записей out
2777677824 байт (2.8 ГБ, 2.6 ГиБ) скопировано, 74.9503 с, 37.1 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-342-disk-0 bs=1M status=progress | zstd >/dev/null
53457453056 байт (53 ГБ, 50 ГиБ) скопировано, 278 с, 192 МБ/с
51200+0 записей в
51200+0 записей out
53687091200 байт (54 ГБ, 50 ГиБ) скопировано, 282.061 с, 190 МБ/с

root@adm61:/home/avn# dd if=/dev/vms5/vm-190-disk-0 bs=1M status=progress | zstd --threads=28 >/dev/null
64290291712 байт (64 ГБ, 60 ГиБ) скопировано, 320 с, 201 МБ/с
61440+0 записей в
61440+0 записей out
64424509440 байт (64 ГБ, 60 ГиБ) скопировано, 324.725 с, 198 МБ/с

root@adm61:/home/avn# dd if=/dev/vms2/vm-120-disk-0 bs=1M status=progress | lzop >/dev/null
33877393408 байт (34 ГБ, 32 ГиБ) скопировано, 78 с, 434 МБ/с
32768+0 записей в
32768+0 записей out
34359738368 байт (34 ГБ, 32 ГиБ) скопировано, 81.0532 с, 424 МБ/с

root@adm61:/home/avn# dd if=/dev/vms2/vm-124-disk-0 bs=1M status=progress | pigz >/dev/null
34199306240 байт (34 ГБ, 32 ГиБ) скопировано, 128 с, 267 МБ/с
32768+0 записей в
32768+0 записей out
34359738368 байт (34 ГБ, 32 ГиБ) скопировано, 130.772 с, 263 МБ/с

Итог: Чтение с диска: ~300-400 МБ/с (зафиксированы результаты до 700 МБ/с, здесь не показано) Чтение и передача в cat: ~300 МБ/с Чтение и передача в gzip: ~37 МБ/с (один поток) Чтение и передача в zstd: ~200 МБ/с (независимо от количества потоков) Чтение и передача в lzop: >400 МБ/с Чтение и передача в pigz: ~260 МБ/с Все тесты проводились на реальных дисках ВМ. Диски принадлежат неиспользуемым ВМ, и каждый диск тестировался только один раз, поэтому кэширование не имеет значения.
31.08.2020 15:03:00, avn.]]> http://proxmox.su/forum/messages/forum63/message348999/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message348999/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Mon, 31 Aug 2020 15:03:00 +0300 Proxmox Виртуальная Среда Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Итак, если это не сеть - что явно не так, проблема, вероятно, где-то в процессе чтения... Вы измеряли пропускную способность, когда читаете большой файл из хранилища виртуальной машины, сжимаете его через gzip и отправляете в /dev/null? Это должно показать вам пропускную способность, которую вы достигаете, прежде чем поток выйдет в сеть. Пока происходит чтение из хранилища виртуальной машины, следите за iostats ваших устройств хранения и своим cpu/iowait.
30.08.2020 10:44:00, budy.]]> http://proxmox.su/forum/messages/forum63/message348998/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message348998/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Sun, 30 Aug 2020 10:44:00 +0300 Proxmox Виртуальная Среда Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я не говорил, что скорость чтения не ограничена. Но она явно выше 1 Гбит/с. Без сжатия резервное копирование дает до 3 Гбит/с (как вы могли видеть в моих предыдущих постах). Lzo и pigz также работают примерно на 1,5 раза лучше, чем zstd. Редакция: Ладно, давайте проверим iperf: ------------------------------------------------------------ Клиент подключается к 10.1.8.69, TCP порт 5001 Размер окна TCP: 85.0 КБ (по умолчанию) ------------------------------------------------------------ [ 3] локальный 10.1.8.61 порт 59928 подключен к 10.1.8.69 порт 5001 [ ID] Интервал Передача Пропускная способность [ 3] 0.0-10.0 сек 9.58 ГБ 8.23 Гбит/сек
29.08.2020 16:56:00, avn.]]> http://proxmox.su/forum/messages/forum63/message348997/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message348997/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Sat, 29 Aug 2020 16:56:00 +0300 Proxmox Виртуальная Среда Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну, несмотря на то, что вы утверждаете, что скорость чтения с вашего хранилища виртуальной машины не ограничена — и проверка этого на разреженных данных действительно не является доказательством, я бы предложил сначала протестировать реальную производительность чтения вашего хранилища. Затем, как уже было предложено, проведите тест iperf между вашим узлом ВМ и вашим NAS.
29.08.2020 14:48:00, budy.]]> http://proxmox.su/forum/messages/forum63/message348996/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message348996/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Sat, 29 Aug 2020 14:48:00 +0300 Proxmox Виртуальная Среда Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Итак, с последнего поста я включил многопоточность для zstd (поставил 'zstd: 0' в /etc/vzdump.conf). Теперь zstd может использовать до половины доступных ядер вместо одного. Но настройки почти ничего не изменили. Производительность резервного копирования с zstd все еще хуже, чем у любых других алгоритмов сжатия. Она редко превышает 1 Гбит/с, и только на небольшую долю. Я продолжаю использовать zstd только из-за его отличной скорости восстановления, сопоставимой со скоростью восстановления сырого дампа. Но все равно это разочарование. Этикетка «быстро и хорошо» на деле оказывается не такой уж правдивой, к сожалению.
29.08.2020 11:06:00, avn.]]> http://proxmox.su/forum/messages/forum63/message348995/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message348995/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Sat, 29 Aug 2020 11:06:00 +0300 Proxmox Виртуальная Среда Скорость резервного копирования ограничена до 1 Гбит/с? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, так выглядит резервное копирование и восстановление в сети 10 Гбит/c: Как видно, скорость резервного копирования ограничена ровно 1 Гбит/c. Вопрос: почему скорость резервного копирования ограничена и как убрать это ограничение? Версия PVE: 6.2-10; ВМ на SAS-накопителе, тип хранения: LVM; Скорость чтения с хранилища ВМ не ограничена (тестировали на разреженных данных); Резервные копии хранятся на NAS (CIFS или NFS, не важно) в том же сетевом сегменте на том же коммутаторе 10 Гбит/c; Скорость записи на NAS не ограничена (несколько хостов могут записывать одновременно со скоростью 1 Гбит/c каждый до 3 Гбит/c); Формат сжатия резервных копий: zstd. Похоже, узкое место — это сам vzdump.
09.08.2020 15:17:00, avn.]]> http://proxmox.su/forum/messages/forum63/message348994/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s http://proxmox.su/forum/messages/forum63/message348994/80567-skorost-rezervnogo-kopirovaniya-ogranichena-do-1-gbit_s Sun, 09 Aug 2020 15:17:00 +0300 Proxmox Виртуальная Среда