http://proxmox.su Новое в теме VZDump медленный на образах ceph, экспорт RBD быстрый форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 12 Nov 2026 12:07:07 +0300 VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это было бы очень приятно, если это действительно так... конечно, до этого ещё далеко, так как Luminous ещё не выпущен (в данный момент версия 12.0.3, нужна версия 12.2 перед релизом), и я думаю, что Proxmox 5.0 вполне может выйти без Luminous, значит, вы по-прежнему будете иметь дело с Jewel и всем, что всё еще "тормозит прогресс"... было бы здорово получить прирост производительности просто от обновления, но основная проблема все равно требует решения... обратите внимание, что первый пост в этой теме был создан в мае 2016 года, так что проблема уже больше года. Как я уже говорил в предыдущем посте, я с уважением признаю, что не знаю, как исправить проблему сам (если бы знал, с радостью потратил бы время на её исправление и внесение в репозиторий Proxmox GIT), но хотел бы увидеть кого-то из Proxmox, кто объяснит, что происходит, что уже сделано и какой план действий по контролю над этой проблемой. Том, Фабиан и любой другой разработчик Proxmox... никто не просит о чудесах, просто о небольшой прозрачности и надежде на скорое решение, чтобы развеять опасения... многие из нас используют это в производственной среде и поддерживают клиентов, поэтому нам нужно иметь представление о том, когда ожидать исправлений ради наших бизнесов. Мы приобрели подписки на Enterprise репозиторий, потому что считаем, что Proxmox заслуживает финансовой поддержки за свои усилия, так что, пожалуйста, поймите, мы не недовольны, просто немного запутаны насчет того, что будет дальше... наша ситуация с резервным копированием продолжает вызывать у нас тревогу, поскольку все, что касается наших клиентов, приводит к "удару по репутации", так как они не понимают, откуда берется проблема и доверяют нам сделать все работает.
28.06.2017 19:49:00, CTCcloud.]]> http://proxmox.su/forum/messages/forum63/message365048/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365048/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 19:49:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я видел один отчет, что с Luminous и Proxmox 5.0 ситуация гораздо лучше: https://forum.proxmox.com/threads/ceph-luminous-backup-improvement.34678/ Похоже, что некоторые исправления в librdb для уменьшения копирования памяти стали источником улучшения. Если бы проблемы с 64k чтениями в резервном копировании QEMU были решены, я уверен, что улучшения были бы еще более значительными.
28.06.2017 19:32:00, e100.]]> http://proxmox.su/forum/messages/forum63/message365047/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365047/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 19:32:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пожалуйста, не поймите меня неправильно. Я не говорю, что VMware "опережает" по технологиям, но, безусловно, по признанию, и мне бы хотелось увидеть, как Proxmox завоевывает серьезное внимание на рынке, чтобы соответствовать крупным компаниям... вот, что я пытался донести. Мы продолжаем использовать Proxmox, потому что он демонстрирует отличную производительность и стабильность. Мы никогда не были впечатлены VMware, и мы заменили нашу установку XenServer на Proxmox, чтобы показать, как мы оцениваем возможности Proxmox как платформы виртуального хостинга. Что касается резервных копий Proxmox, они всегда были одной из тех функций, которые учитываются и необходимы тем, кто его использует, поэтому ожидать функционала, который существует, как приоритетно, вполне разумно, независимо от действий конкурентов. Сказав это, платформа в целом выполняет ожидаемое и делает это очень хорошо, так что огромное "СПАСИБО!!!" заслужено, и мы его от всей души передаем. Мы не подозревали, что это "известная проблема, но не простая в решении", так как то, что видно на форумах, этого не доносит, поэтому спасибо, что прояснили этот момент. 60 MB/s – это медленно, когда вы делаете много резервных копий за ночь, и эта максимальная скорость вообще не поддерживается во время фактической резервной копии, скорее всего, в районе 30 MB/s. Они не могут завершиться к утру из-за этой медлительности. Мы используем сетевые соединения на 10Gb. С локального хранилища скорость достигает 300 MB/s – 500 MB/s, что означает, что резервные копии легко завершаются за ночь, если они с локального хранилища, поэтому для клиентов это не проблема рано утром. Но дело в том, что почти ни одна из наших виртуальных машин в данный момент не находится на локальном хранилище, они скорее на Ceph, что принесло огромное улучшение производительности и гибкости нашей клиентской базе, но это означает, что резервные копии этих десятков виртуальных машин не могут завершаться так, как должны, к утру во многих случаях (и нет, мы не делаем резервные копии стольких за ночь). Это был тот момент, который пытались донести, и не в том, чтобы сказать, что VMware "опережает". Любой, кто смотрит на эту тему в сообществе, теперь может увидеть это разъяснение и понять, что я вовсе не говорю, что VMware превосходит, так как если бы это было так, мы бы использовали его вместо Proxmox, но это просто не так. Никакого оскорбления не имелось в виду. Было бы полезно получить объяснение, что было сделано и делается для исправления ситуации с медленными резервными копиями с Ceph. Мы смиренно осознаем, что не знаем, как решить эту проблему самостоятельно, но оценили бы столь же смиренное признание со стороны разработчиков и не воспринимать наблюдения как оскорбление, а понять, что мы все хотим одного: сделать Proxmox лучшим.
28.06.2017 16:26:00, CTCcloud.]]> http://proxmox.su/forum/messages/forum63/message365046/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365046/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 16:26:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Та же проблема и здесь. Я не знал, что проблема такая старая, и открыл другую тему с информацией.
28.06.2017 16:12:00, Dan Nicolae.]]> http://proxmox.su/forum/messages/forum63/message365045/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365045/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 16:12:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Насколько я понимаю, VMware отменил свои собственные инструменты резервного копирования, так что Proxmox VE здесь не так уж далек от этого, если я не прав, поправьте меня. VMware никоим образом не поддерживает Ceph, так что я не вижу, почему VMware здесь "впереди". Также у RHEV нет сопоставимого решения для резервного копирования. Пожалуйста, пишите по существу и не говорите сообществу, что VMware или другие значительно "впереди"... Но да, проблема известна, но не так уж легко её исправить. Мы видим около 60 Мб/сек в задачах резервного копирования Ceph, так что это не так медленно, как здесь некоторые упоминают.
28.06.2017 16:04:00, tom.]]> http://proxmox.su/forum/messages/forum63/message365044/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365044/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 16:04:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
То, что упомянул Ива-а-ан, абсолютно верно, эту проблему НУЖНО решить. Если Spirit прав и это проблема с 64KB блоком в vzdump, а не в QEMU, почему это до сих пор не исправлено? Проблема существует уже очень давно... не пару месяцев или что-то в этом роде... Я это говорю, потому что если бы это была проблема Proxmox, логично было бы, что ее уже исправили, так как это под их непосредственным контролем. Спасибо, Ива-а-ан, что снова поднял эту тему... это действительно очень важно и должно быть решено как можно скорее. Мы всегда были впечатлены Proxmox как платформой, и она по-прежнему неплохо обслуживает нас и наших клиентов в целом, но недавно качество поддержки и программного обеспечения стало не на должном уровне, и, говоря это, я не пытаюсь никого разозлить, а просто указываю на то, что мы наблюдали. Мы используем Proxmox в продакшене с версии 2.0 и хотели бы увидеть, как она поднимается до уровня RHEV или VMware, чтобы все больше администраторов могли увидеть, насколько хорошо работает эта платформа (ведь это почти произведение искусства с таким красивым веб-интерфейсом и всем таким), но есть некоторые вопросы, которые было бы здорово решить, и это сейчас один из самых актуальных.
28.06.2017 14:19:00, CTCcloud.]]> http://proxmox.su/forum/messages/forum63/message365043/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365043/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 14:19:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Проблема в том, что резервное копирование proxmox заблокировано размером блока 64К. Это приводит к большему количеству операций ввода-вывода к ceph (использует больше процессорного времени) плюс время на обратный сетевой переход. Я помню, кто-то проводил тест с резервным копированием qemu (это отличается от пользовательского кода резервного копирования proxmox), где можно настроить размер блока, и это действительно было быстрее. "Привет, Александр, 02.03.2016 в 15:23 Александр ДЕРЮМЬЕ: >>> Мы сейчас реализуем нашу собственную систему резервного копирования, которая использует команду drive-backup qmp для дампа qcow2. Нам не нужны конфигурационные файлы. >>> И это работает с ceph и кластером размером 4МБ. > > Как насчет производительности (64К, 4МБ) и стабильности по сравнению с форматом vma от proxmox? Мы (Стефан и я) не проводили полностью сопоставимые тесты. Мы протестировали виртуальный диск размером 100ГБ от резервного копирования ceph, загруженного на NFS: - с VMA, стандартным размером кластера 64КБ и без ограничений на чтение/запись: | | Снимок | Приостановить | Остановить | |------+----------+---------+-------| | ничего | 09:55 | 09:37 | 09:35 | | LZO | 10:24 | 10:26 | 10:20 | | GZip | 31:52 | 32:22 | | - QMP drive-backup (параметры sync => full, формат => qcow2), размер кластера 4МБ и 130 Мб/с, 215 операций/с чтение; 90 Мб/с, 155 операций/с запись: 9:15 минут. QMP drive-backup с вышеуказанными ограничениями и стандартным размером кластера 64КБ занял очень много времени, более 40 минут."
28.06.2017 10:31:00, spirit.]]> http://proxmox.su/forum/messages/forum63/message365042/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365042/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 10:31:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Позвольте поднять эту тему. Может кто-то сделать резервное копирование быстрее 40МБ/с? Дело в том, что rbd export работает в 10 раз быстрее, чем инструмент резервного копирования Proxmox. Proxmox — отличный продукт с открытым исходным кодом, но резервные копии — это определенно то, что нуждается в доработке. Spirit предположил, что проблема в 64K чтениях VZdump и в том, что размер блоков образа RBD по умолчанию составляет 4M, что создает слишком много IOPS во время резервного копирования и приводит к ухудшению производительности. VZDump медленный на образах ceph, rbd export быстрый. Я провел тест, чтобы проверить эту теорию. Я создал образ RBD с --object-size 64K и подключил этот образ к только что созданной VM. К сожалению, это не дало никакого эффекта на производительность резервного копирования. Есть какие-нибудь предложения? Кто-нибудь знает, где узкое место? Спасибо.
28.06.2017 02:07:00, iva-a-an.]]> http://proxmox.su/forum/messages/forum63/message365041/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365041/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 28 Jun 2017 02:07:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть ли обновления по этому поводу? Мы сталкиваемся с теми же проблемами, и как упомянул robhost, VMA файлы действительно необходимы, ультрамедленными можно назвать бэкапы, которые сейчас приходят с Ceph backend.
15.02.2017 16:12:00, CTCcloud.]]> http://proxmox.su/forum/messages/forum63/message365040/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365040/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Wed, 15 Feb 2017 16:12:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это решение также в нашей повестке, но работа с этими дампами не так удобна, как с файлами VMA, поэтому вы не можете импортировать их на другую PVE машину без работающего кластера Ceph в экстренных ситуациях. Жаль, что у нас быстрый кластер Ceph с SSD, но приходится иметь дело с этими ультрамедленными резервными копиями
15.11.2016 11:14:00, robhost.]]> http://proxmox.su/forum/messages/forum63/message365039/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365039/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Tue, 15 Nov 2016 11:14:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я в итоге написал собственный скрипт для резервного копирования, чтобы выгружать изображения из ceph на NFS-ресурс. Дай знать, если хочешь попробовать.
14.11.2016 21:57:00, valeech.]]> http://proxmox.su/forum/messages/forum63/message365038/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365038/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Mon, 14 Nov 2016 21:57:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На данный момент нет, это обсуждение также было на mailing list, см. http://pve.proxmox.com/pipermail/pve-devel/2016-February/019267.html  Мы также затронуты этой проблемой, резервные копии из ceph гораздо медленнее, чем могли бы быть. Было бы здорово получить решение этой проблемы.
12.11.2016 09:47:00, robhost.]]> http://proxmox.su/forum/messages/forum63/message365037/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365037/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Sat, 12 Nov 2016 09:47:00 +0300 Proxmox Виртуальная Среда VZDump медленный на образах ceph, экспорт RBD быстрый Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у меня есть кластер из трех узлов, работающий на Ceph. У меня есть Ceph monitor и 6 OSD на каждом узле. Каждый OSD журнал связан с NVMe разделом на отдельном диске. Каждый узел имеет выделенный 10G сетевой интерфейс для публичной сети Ceph и отдельный интерфейс для кластерной сети Ceph. В той же локальной сети, что и публичная сеть Ceph, находится отдельный NFS сервер. Все мои виртуальные машины имеют свои диски, хранящиеся в пуле Ceph. Я хочу сделать резервное копирование своих ВМ на NFS сервер. Когда запускается задача резервного копирования, я получаю около 30 МБ/с вне зависимости от сжатия. Я пробовал делать снимок и резервное копирование остановленной ВМ, но разницы нет. Я стараюсь выяснить, в чем проблема, и, похоже, она в VZDump. Если я запускаю "rbd export ceph/vm-100-disk-1 /mnt/pve/nfsserver/vm-100-disk-1.raw", скорость передачи составляет 395 МБ/с. Это исключает наличие проблемы в Ceph, NFS или сети. Есть идеи, что может вызывать такую медлительность VZDump по сравнению с rbd export? Я ранее нашел эту тему, но не был уверен, связано ли это, потому что ссылка, указанная в теме о патчах, говорит, что патчи увеличили скорости экспорта Ceph. У меня нет проблем со скоростями экспорта Ceph, кроме VZDump, если VZDump действительно делает экспорт Ceph. Спасибо! Текущие версии: # pveversion -v proxmox-ve: 4.2-48 (работает ядро: 4.4.6-1-pve) pve-manager: 4.2-2 (работает версия: 4.2-2/725d76f0) pve-kernel-4.4.6-1-pve: 4.4.6-48 lvm2: 2.02.116-pve2 corosync-pve: 2.3.5-2 libqb0: 1.0-1 pve-cluster: 4.0-39 qemu-server: 4.0-72 pve-firmware: 1.1-8 libpve-common-perl: 4.0-59 libpve-access-control: 4.0-16 libpve-storage-perl: 4.0-50 pve-libspice-server1: 0.12.5-2 vncterm: 1.2-1 pve-qemu-kvm: 2.5-14 pve-container: 1.0-62 pve-firewall: 2.0-25 pve-ha-manager: 1.0-28 ksm-control-daemon: 1.2-1 glusterfs-client: 3.5.2-2+deb8u2 lxc-pve: 1.1.5-7 lxcfs: 2.0.0-pve2 cgmanager: 0.39-pve1 criu: 1.6.0-1 zfsutils: 0.6.5-pve9~jessie
13.10.2016 16:28:00, valeech.]]> http://proxmox.su/forum/messages/forum63/message365036/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy http://proxmox.su/forum/messages/forum63/message365036/82249-vzdump-medlennyy-na-obrazakh-ceph_-eksport-rbd-bystryy Thu, 13 Oct 2016 16:28:00 +0300 Proxmox Виртуальная Среда