+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ubuntu VM: ядра оффлайном., Proxmox Виртуальная Среда

ITxD

Guest

22.08.2024 23:52:00

Привет, мы установили Proxmox на HPE ProLiant сервере с 2 процессорами (128*2=256|512 виртуальных ядер). Создали Ubuntu 24.04 VM и выделили ей 254 ядра (508 виртуальных ядер). Заметили, что VM видит все ядра, но только половина работает. Смотри вывод ниже для более подробной информации: Что мы упускаем? Как включить остальные ядра?

Архитектура: x86_64
CPU op-mode(s): 32-bit, 64-bit
Размеры адресов: 52 бита физические, 57 битов виртуальные
Порядок байтов: Little Endian
CPU(s): 508
Список онлайн CPU: 0-253
Список оффлайн CPU: 254-507
Vendor ID: AuthenticAMD
Model name: AMD EPYC 9754 128-Core Processor
CPU family: 25
Model: 160
Thread(s) per core: 1
Core(s) per socket: 254
Socket(s): 1
Stepping: 2
BogoMIPS: 4493.24
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm rep_good nopl cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy svm cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw perfctr_core ssbd ibrs ibpb stibp ibrs_enhanced vm mcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves avx512_bf16 clzero xsaveerptr wbnoinv d arat npt lbrv nrip_save tsc_scale vmcb_clean flushbyasid pausefilter pfthreshold v_vmsave_vmload vgif vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq la57 rdpi d fsrm flush_l1d arch_capabilities
Virtualization features:
Virtualization: AMD-V
Hypervisor vendor: KVM
Virtualization type: full
Кэш (сумма всего):
L1d: 15.9 MiB (254 экземпляра)
L1i: 15.9 MiB (254 экземпляра)
L2: 127 MiB (254 экземпляра)
L3: 4 GiB (254 экземпляра)
NUMA:
NUMA node(s): 2
NUMA node0 CPU(s): 0-253
NUMA node1 CPU(s):
Уязвимости:
Gather data sampling: Not affected
Itlb multihit: Not affected
L1tf: Not affected
Mds: Not affected
Meltdown: Not affected
Mmio stale data: Not affected
Reg file data sampling: Not affected
Retbleed: Not affected
Spec rstack overflow: Vulnerable: Safe RET, no microcode
Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP disabled; RSB filling; PBRSB-eIBRS Not affected; BHI Not affected
Srbds: Not affected
Tsx async abort: Not affected
(base) vmadmin@pdva-prod-vm3:~

ITxD

Guest

23.08.2024 00:13:00

Заметил, что показывает только 1 сокет. Я попробовал снизить количество ядер до 128 (256) + 2 сокета. И теперь вижу, что все ядра активны, и команда lscpu также показывает 2 сокета вместо 1.

---------------------------------------------------------------------------------
Архитектура: x86_64
Режимы работы CPU: 32-разрядный, 64-разрядный
Размеры адресов: 52 бита физической, 57 битов виртуальной
Порядок байтов: Little Endian
CPU(s): 256
Список активных CPU: 0-255
Vendor ID: AuthenticAMD
Название модели: AMD EPYC 9754 128-Core Processor
Семья CPU: 25
Модель: 160
Потоков на ядро: 1
Ядер на сокет: 128
Сокет(ов): 2
Stepping: 2
BogoMIPS: 4493.24
Флаги: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm rep_good nopl cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy svm cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw perfctr_core ssbd ibrs ibpb stibp ibrs_enhanced vm mcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves avx512_bf16 clzero xsaveerptr wbnoinv d arat npt lbrv nrip_save tsc_scale vmcb_clean flushbyasid pausefilter pfthreshold v_vmsave_vmload vgif vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq la57 rdpi d fsrm flush_l1d arch_capabilities
Виртуализация:
Виртуализация: AMD-V
Vendor гипервизора: KVM
Тип виртуализации: полная
Кэш (общая сумма):
L1d: 16 MiB (256 экземпляров)
L1i: 16 MiB (256 экземпляров)
L2: 128 MiB (256 экземпляров)
L3: 4 GiB (256 экземпляров)
NUMA:
NUMA узлов: 2
NUMA узел0 CPU(s): 0-127
NUMA узел1 CPU(s): 128-255
Уязвимости:
Сбор данных по выборке: Не затронуто
Itlb многохит: Не затронуто
L1tf: Не затронуто
Mds: Не затронуто
Meltdown: Не затронуто
Mmio устаревшие данные: Не затронуто
Сбор данных по регистровому файлу: Не затронуто
Retbleed: Не затронуто
Переполнение стека инструкций: В уязвимому состоянию: Safe RET, отсутствует микрокод
Обход спекулятивного сохранения: Смягчение; Speculative Store Bypass отключен через prctl
Spectre v1: Смягчение; usercopy/swapgs barriers и __user pointer sanitization
Spectre v2: Смягчение; Enhanced / Automatic IBRS; IBPB conditional; STIBP disabled; RSB filling; PBRSB-eIBRS Не затронуто; BHI Не затронуто
Srbds: Не затронуто
Tsx асинхронный отказ: Не затронуто

Kingneutron Guest	#3 0 23.08.2024 06:25:00 Я вообще не понимаю, если вы задействовали весь CPU-пространство под (1) VM, почему не запустили bare metal? Зачем вам вообще Proxmox в этом случае?

VictorSTS

Guest

23.08.2024 11:46:00

Если запускаешь VM из CLI (qm start VMID), появляются какие-то сообщения или предупреждения? Есть ли в системе какие-нибудь логи, связанные с этим? Помню баг-репорт в Ubuntu, где максимальное количество CPU для VM было 288 [1]. Кажется, там это исправили, но не знаю, исправлено ли это в основной ветке. Не смог найти баг-репорт в QEMU. Судя по исходникам, PVE использует ту же самую максималку в 288 CPU [2] (может, я не в том месте ищу, я не разработчик). Заполнил баг-репорт с вопросом об этом [3]. @Kingneutron Иногда для VM может понадобиться "вся машина", чтобы всё равно можно было использовать виртуализацию: живые миграции, резервное копирование, управление жизненным циклом… Могут быть другие подходы, например, использовать больше экземпляров приложения в меньших VM, но иногда сложно добиться правильной настройки. @ITxD Мне тоже интересно это конкретное использование! [1] https://bugs.launchpad.net/ubuntu/+source/qemu/+bug/2012763 [2] https://git.proxmox.com/?p=mirror_q...c18d7de54c112281f74c70c2a699e150;hb=HEAD#l424 [3] https://bugzilla.proxmox.com/show_bug.cgi?id=5671

fiona

Guest

04.09.2024 11:27:00

Привет! У тебя x2APIC включен в BIOS и не отключен через командную строку ядра? Если память не изменяет, это требуется для процессоров AMD с > 255 потоками, когда гостевой системе назначается больше vCPU (спасибо @mira за информацию).

petrufel Guest	#6 0 08.06.2025 13:51:00 У меня похожая проблема с сервером, в котором два процессора AMD EPYC 9654. Ubuntu 24.04.2 VM видит только 256 ядер (я также пробовал 22.04 с ядрами 5.15, 6.5 и 6.8). Есть ограничение в 256 vCPU на сокет, поэтому если разделить vCPU на 2 сокета по 128 ядер каждый - всё загружается нормально, но если общее число vCPU превышает 256, то все vCPU на втором ноде отключаются. Dmesg показывает "CPU has invalid APIC ID" в VM для каждого vCPU на узле 1 (узел 0 работает нормально). Проверил, что в этом случае все vCPU на узле 1 имеют нумерацию 0x0100, 0x0101 и т.д. Это кажется неправильным для VM: Code: [ 2.360444] smpboot: CPU 192 has invalid APIC ID 100. Aborting bringup [ 2.360643] smpboot: CPU 193 has invalid APIC ID 101. Aborting bringup [ 2.360920] smpboot: CPU 194 has invalid APIC ID 102. Aborting bringup ... на ядре 5.15 это действительно показывает raw APIC index: Code: [ 0.005258] SRAT: PXM 1 -> APIC 0x0100 -> Node 1 Proxmox сервер работает со всеми 384 ядрами отлично, целевая VM должна суметь работать с большим количеством CPU, я пробовал самый свежий hwe kernel для 22.04 и 24.04 Ubuntu server: Code: # grep CONFIG_NR_CPUS /boot/config-$(uname -r) CONFIG_NR_CPUS_RANGE_BEGIN=8192 CONFIG_NR_CPUS_RANGE_END=8192 CONFIG_NR_CPUS_DEFAULT=8192 CONFIG_NR_CPUS=8192 Целевая VM показывает, что у неё есть поддержка x2apic: Code: # dmesg \| grep x2apic [ 0.000202] x2apic: enabled by BIOS, switching to x2apic ops [ 0.005437] APIC: Switched APIC routing to: cluster x2apic [ 8.096206] APIC: Switched APIC routing to: physical x2apic Proxmox сам отлично работает с большим количеством ядер. Буду очень благодарен за любые советы, так как неиспользование всех ядер — это очень болезненно.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры