+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Заявление во время миграции ВМ с одного узла PVE на другой., Proxmox Виртуальная Среда

nkSupport

Guest

12.05.2025 18:13:00

Всем привет! Я новичок в Proxmox. Сегодня мы обновили наши три сервера Proxmox до версии PVE 8.4.1. Во время обновления, поскольку было доступно обновление ядра, мы поставили один PVE Node в режим обслуживания. Во время мониторинга процесса миграции мы заметили следующие строки для каждой VM, которую нужно было перенести:

.... Use of uninitialized value in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324. Use of uninitialized value $last_vfio_transferred in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324. ...

Не знаю, это просто информация, предупреждение или критическое уведомление. К сожалению, миграция VM с одного узла на другой занимает целую вечность, а не секунды. Я пробовал добавить migrate: insecure в /etc/pve/datacenter.cfg, чтобы ускорить миграцию, но без заметного эффекта. Все мои три узла имеют Uplink с Dual 10G Ethernet Adapter и подключены к одному коммутатору. Какие-нибудь подсказки, куда посмотреть, чтобы выявить потенциальное узкое место?

nkSupport

Guest

13.05.2025 07:23:00

Использую Ceph storage в качестве основного хранилища данных для VM, три хоста, каждый с четырьмя NVME дисками на 2 ТБ. Конфигурация: [global] auth_client_required = cephx auth_cluster_required = cephx auth_service_required = cephx cluster_network = 10.137.1.0/24 fsid = e514f756-b1ce-4429-aa96-9304de459fd1 mon_allow_pool_delete = true mon_host = 10.137.1.20 10.137.1.30 10.137.1.10 ms_bind_ipv4 = true ms_bind_ipv6 = false osd_pool_default_min_size = 2 osd_pool_default_size = 3 public_network = 10.137.1.0/24[client] keyring = /etc/pve/priv/$cluster.$name.keyring[client.crash] keyring = /etc/pve/ceph/$cluster.$name.keyring[mon.prx01] public_addr = 10.137.1.10[mon.prx02] public_addr = 10.137.1.20[mon.prx03] public_addr = 10.137.1.30 Сеть: Linux bond1 - enp67s0f2np2 enp67s0f3np3 ens1f0np0 ens1f1np1 - LACP (802.3ad) - MTU 1500

Magnus-mercer

Guest

16.05.2025 10:57:00

Эти два предупреждения Perl — безобидные сообщения отладочного уровня, которые появляются, когда данные VFIO-passthrough отсутствуют; сами по себе они не указывают на неудачную миграцию или проблемы с производительностью. При живой миграции VM, использующей хранилище Ceph, по сети передаются только страницы памяти, поэтому пропускная способность ограничена производительностью вашей сети и I/O Ceph-клиента. Можно разделить сети Ceph public, Ceph cluster и миграционные (например, с помощью VLAN или выделенных интерфейсов) и включить jumbo-frames для повышения пропускной способности.

lsullivan

Guest

18.05.2025 19:54:00

Я столкнулся с этой проблемой сегодня при миграции между двумя кластерами 8.4.1 с CEPH (много корпоративных SSD и NVMe), выделенным 10-гигабитным CEPH, кластерными и пользовательскими LAG. При этом только одна из более чем 125 виртуальных машин, которые были перенесены на этой неделе, столкнулась с этой проблемой с использованием абсолютно того же процесса в абсолютно той же среде. Я повторил миграцию той же ВМ после ее перезагрузки, и получил тот же результат. Миграция других виртуальных машин, даже с значительно большим объемом оперативной памяти, проходит очень быстро – скорость передачи несколько GiB/s. Эта же виртуальная машина сначала переносит диски быстро, а затем переходит в состояние ВМ и замедляется до нескольких MiB/s:

Use of uninitialized value $last_vfio_transferred in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324. 2025-05-18 11:46:20 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 4.4 MiB/s
Use of uninitialized value in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324.
Use of uninitialized value $last_vfio_transferred in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324.
2025-05-18 11:46:22 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 3.2 MiB/s
Use of uninitialized value in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324.
Use of uninitialized value $last_vfio_transferred in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324.
2025-05-18 11:46:24 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 5.4 MiB/s
2025-05-18 11:46:25 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 6.1 MiB/s
Use of uninitialized value in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324.
Use of uninitialized value $last_vfio_transferred in string ne at /usr/share/perl5/PVE/QemuMigrate.pm line 1324.
2025-05-18 11:46:27 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 5.7 MiB/s
2025-05-18 11:46:28 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 3.2 MiB/s
2025-05-18 11:46:29 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 4.7 MiB/s
2025-05-18 11:46:30 migration active, transferred 9.8 GiB of 48.0 GiB VM-state, 4.8 MiB/s
...

Узел, на который я ее перенес, имеет 512 ГБ оперативной памяти, и менее 200 ГБ занято, так что свободного места должно быть более чем достаточно.

Возможно, у меня неисправна оперативная память? На узле не возникало никаких проблем, поэтому это странно. В любом случае, попробуйте освободить немного оперативной памяти на целевом узле, чтобы посмотреть, поможет ли это.

dcsapak

Guest

19.05.2025 16:45:00

Кстати, хотел сообщить: я отправил патч, чтобы избавиться от тех (информационных) предупреждений Perl: https://lore.proxmox.com/pve-devel/20250519144357.3515197-1-d.csapak@proxmox.com/T/#u. А по поводу проблемы со скоростью миграции: даже если у тебя много свободной памяти, она может быть сильно фрагментирована, что повлияет на скорость выделения. Если у тебя снова возникнет эта проблема, можешь ли ты в следующий раз опубликовать вывод команды Code: free с целевого узла?

lsullivan

Guest

22.05.2025 22:48:00

Просто чтобы вернуться к этому вопросу – у узла, который изредка медленно получал миграции, был включен swap. У других узлов этого не было. Наверное, я пропустил этот шаг, когда настраивал этот узел. Отключил swap, и медленные миграции прекратились.

aufwiz Guest	#7 0 13.05.2025 02:14:00 Похоже, у вас возникло узкое место с вводом-выводом. Если сможете рассказать о своей инфраструктуре, особенно про хранилище данных, это очень помогло бы.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры