http://proxmox.su Новое в теме Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 13 Nov 2026 11:46:22 +0300 Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @fabian! Хотел бы протестировать pve-ядро, о котором ты упоминал по адресу https://github.com/zfsonlinux/zfs/issues/7235. Спасибо.
26.02.2018 11:24:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365181/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365181/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Mon, 26 Feb 2018 11:24:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
вы можете установить ограничение по пропускной способности для онлайн-клонирования (это еще не доступно в диалоговом окне клонирования, но вы можете установить его в datacenter.cfg для всех операций клонирования или вручную через API/qm clone для индивидуальных операций клонирования) — это должно облегчить проблему.
19.12.2019 14:05:00, fabian.]]> http://proxmox.su/forum/messages/forum63/message365180/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365180/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Thu, 19 Dec 2019 14:05:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я тестировал онлайн, но похоже, что и там можно что-то улучшить. 25% задержка по io была довольно прерывистой, а 5% почему-то все еще были в порядке.
18.12.2019 12:18:00, deafsquad.]]> http://proxmox.su/forum/messages/forum63/message365179/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365179/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Wed, 18 Dec 2019 12:18:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
офлайн в обоих случаях? онлайн "перемещение диска" — это совершенно другой код.
17.12.2019 10:06:00, fabian.]]> http://proxmox.su/forum/messages/forum63/message365178/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365178/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Tue, 17 Dec 2019 10:06:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
эта проблема все еще существует в версии 6.1-3. Я клонировал 225G сырых блоков ZFS через GUI и получил задержку ввода-вывода до 25%. Я попробовал снова с помощью "qemu-img -t none -T none", как упоминалось выше, и задержка ввода-вывода достигла максимум 5%. acrsz был максимален на уровне 62G после этого, похоже, что при клонировании через GUI arc не использовался.
16.12.2019 19:21:00, deafsquad.]]> http://proxmox.su/forum/messages/forum63/message365177/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365177/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Mon, 16 Dec 2019 19:21:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, Фабиан. С нетерпением жду этого.
28.03.2018 10:56:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365176/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365176/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Wed, 28 Mar 2018 10:56:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
это та же основная проблема (открытие zvol в Qemu с no-flush, что приводит к огромному количеству буферированной памяти на стороне ядра, что может вызвать коллапс ARC и, возможно, свопинг). исправление для qemu-img convert (офлайн перемещение диска/полное клонирование) уже есть в git, а исправление для vma extract/qmrestore все еще в разработке.
28.03.2018 10:43:00, fabian.]]> http://proxmox.su/forum/messages/forum63/message365175/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365175/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Wed, 28 Mar 2018 10:43:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Фабиан. Восстановление из резервной копии размером 200 ГБ с помощью vzdump как ZVOL тоже замедляет систему (веб-интерфейс Proxmox не реагирует). Это всё еще связано с проблемой qemu-img для ZVOL?
27.03.2018 17:10:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365174/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365174/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Tue, 27 Mar 2018 17:10:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я думаю, мы можем просто принять обоснованное, автоматизированное решение, используя стандартные настройки типов хранилищ источника и назначения, а также форматы.
27.02.2018 10:41:00, fabian.]]> http://proxmox.su/forum/messages/forum63/message365173/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365173/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Tue, 27 Feb 2018 10:41:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как указал @fabian, использование qemu-img convert -t none и -T none в качестве режима кэширования для исходного и целевого диска решило проблему. Код: /usr/bin/qemu-img convert -p -n -f raw -O raw -t none -T none /dev/zvol/rpool/data/vm-1081-disk-1 zeroinit:/dev/zvol/rpool/data/vm-1101-disk-2 Будет ли интерактивный вариант в интерфейсе онлайн-миграции диска и интерфейсе клонирования, чтобы можно было отметить -t none и -T none, если мы используем ZFS ZVOL в качестве формата исходного образа, или оба интерфейса автоматически определят, какой формат мы используем?
27.02.2018 05:44:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365172/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365172/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Tue, 27 Feb 2018 05:44:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Сегодня протестировал последние пакеты из pvetest на хосте с 32 ГБ ОЗУ, и проблема все еще присутствует. Полное клонирование 100 ГБ шаблона из ZFS ZVOL в ZFS ZVOL вызывает такую ситуацию, что "qemu-img convert" использует всю доступную память в качестве буферизованных страниц, из-за чего система замедляется из-за нехватки памяти и значительного увеличения использования свопа. Отключение zfs_compressed_arc_enabled тоже не помогло. Я провел несколько тестов полного клонирования, и, казалось, qemu-img convert будет использовать всю доступную память как буферизованные страницы, если источник больше общего объема памяти и находится в формате изображения ZFS ZVOL. Полное клонирование шаблона 100 ГБ с qcow2 на ZFS в qcow2 на ZFS использует меньше 1% буферизованных страниц из 32 ГБ ОЗУ. Полное клонирование шаблона 100 ГБ с qcow2 на ZFS в ZFS ZVOL использует примерно 20% буферизованных страниц из 32 ГБ ОЗУ. Полное клонирование шаблона 100 ГБ с ZFS ZVOL в qcow2 на ZFS использует всю доступную память в качестве буферизованных страниц из 32 ГБ ОЗУ. Полное клонирование шаблона 100 ГБ с ZFS ZVOL в ZFS ZVOL использует всю доступную память в качестве буферизованных страниц из 32 ГБ ОЗУ. Я думаю, что есть проблема с qemu-img convert и ZFS ZVOL как форматом исходного изображения. Это какая-то утечка памяти или просто баг в qemu или zfs?
26.02.2018 07:27:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365171/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365171/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Mon, 26 Feb 2018 07:27:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Понял, попробую завтра и протестирую с другим блоком (lvm) или файловым хранилищем (qcow2), чтобы выяснить, будет ли qemu-img convert использовать всю доступную память для буфера 100 ГБ хранилища и вызовет ли это замедление из-за операций ввода-вывода в свопе.
22.02.2018 14:45:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365170/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365170/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Thu, 22 Feb 2018 14:45:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В репозитории pvetest есть новый пакет ZFS, пожалуйста, протестируйте его. Также есть более новая версия ядра, стоит попробовать. Операция клонирования определенно является операцией с интенсивным вводом-выводом, насколько мне известно, единственный способ установить некоторые ограничения на неё - это использовать либо cstream, либо cgroup (ограничение памяти).
22.02.2018 14:41:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message365169/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365169/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Thu, 22 Feb 2018 14:41:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Альвин, есть ли баг-репорт, за которым я мог бы следить по этой проблеме? Я столкнулся с подобным замедлением при полной клонировании шаблона размером 100 ГБ на ZFS ZVOL. "qemu-img convert" использовал всю память (буферизованную) и вызывал общее замедление системы. В моей системе только 64 ГБ оперативной памяти, и её не хватило, чтобы буферизовать 100 ГБ ZVOL, используемый "qemu-img". Или есть способ ограничить использование памяти для "qemu-img convert", чтобы он буферизовал ZVOL только до 1 ГБ, возможно?
22.02.2018 14:07:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365168/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365168/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Thu, 22 Feb 2018 14:07:00 +0300 Proxmox Виртуальная Среда Ужасно медленное полное клонирование виртуальной машины на Proxmox VE 5.1 с ZFS ZVOL Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Используя последнюю версию Proxmox VE 5.1.x и ZFS RAID1 ZVOL на 8-ядерном процессоре и 16 ГБ ОЗУ, полное клонирование оффлайн ВМ очень медленное, даже когда процент загрузки ЦП %wa и нагрузка в среднем ниже 11% и 8 соответственно. Это связано с новыми патчами ядра для уязвимостей Meltdown и Spectre, несовместимыми с ZFS и конвертацией образов qemu? Я также заметил, что интерфейс Proxmox зависал до завершения восстановления ВМ из резервной копии vzdump на более мощном сервере без запущенных ВМ и на ZFS RAID1 ZVOL на SSD Intel DC S3500. Код: proxmox-ve: 5.1-36 (работающее ядро: 4.13.13-4-pve) pve-manager: 5.1-43 (работающая версия: 5.1-43/bdb08029) pve-kernel-4.4.98-3-pve: 4.4.98-103 pve-kernel-4.13.13-4-pve: 4.13.13-35 pve-kernel-4.4.19-1-pve: 4.4.19-66 pve-kernel-4.13.13-5-pve: 4.13.13-36 libpve-http-server-perl: 2.0-8 lvm2: 2.02.168-pve6 corosync: 2.4.2-pve3 libqb0: 1.0.1-1 pve-cluster: 5.0-19 qemu-server: 5.0-20 pve-firmware: 2.0-3 libpve-common-perl: 5.0-25 libpve-guest-common-perl: 2.0-14 libpve-access-control: 5.0-7 libpve-storage-perl: 5.0-17 pve-libspice-server1: 0.12.8-3 vncterm: 1.5-3 pve-docs: 5.1-16 pve-qemu-kvm: 2.9.1-6 pve-container: 2.0-18 pve-firewall: 3.0-5 pve-ha-manager: 2.0-4 ksm-control-daemon: 1.2-2 glusterfs-client: 3.8.8-1 lxc-pve: 2.1.1-2 lxcfs: 2.0.8-1 criu: 2.11.1-1~bpo90 novnc-pve: 0.6-4 smartmontools: 6.5+svn4324-1 zfsutils-linux: 0.7.3-pve1~bpo9
25.01.2018 11:14:00, chrone.]]> http://proxmox.su/forum/messages/forum63/message365167/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol http://proxmox.su/forum/messages/forum63/message365167/82260-uzhasno-medlennoe-polnoe-klonirovanie-virtualnoy-mashiny-na-proxmox-ve-5.1-s-zfs-zvol Thu, 25 Jan 2018 11:14:00 +0300 Proxmox Виртуальная Среда