Аспро: ЛайтШоп [тема: Ubuntu VM: ядра оффлайном.] http://proxmox.su Новое в теме Ubuntu VM: ядра оффлайном. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 30 Apr 2026 02:40:32 +0300 Ubuntu VM: ядра оффлайном. Ubuntu VM: ядра оффлайном. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня похожая проблема с сервером, в котором два процессора AMD EPYC 9654. Ubuntu 24.04.2 VM видит только 256 ядер (я также пробовал 22.04 с ядрами 5.15, 6.5 и 6.8). Есть ограничение в 256 vCPU на сокет, поэтому если разделить vCPU на 2 сокета по 128 ядер каждый - всё загружается нормально, но если общее число vCPU превышает 256, то все vCPU на втором ноде отключаются. Dmesg показывает "CPU has invalid APIC ID" в VM для каждого vCPU на узле 1 (узел 0 работает нормально). Проверил, что в этом случае все vCPU на узле 1 имеют нумерацию 0x0100, 0x0101 и т.д. Это кажется неправильным для VM: Code: [ 2.360444] smpboot: CPU 192 has invalid APIC ID 100. Aborting bringup
[ 2.360643] smpboot: CPU 193 has invalid APIC ID 101. Aborting bringup
[ 2.360920] smpboot: CPU 194 has invalid APIC ID 102. Aborting bringup
... на ядре 5.15 это действительно показывает raw APIC index: Code: [ 0.005258] SRAT: PXM 1 -> APIC 0x0100 -> Node 1 Proxmox сервер работает со всеми 384 ядрами отлично, целевая VM должна суметь работать с большим количеством CPU, я пробовал самый свежий hwe kernel для 22.04 и 24.04 Ubuntu server: Code: # grep CONFIG_NR_CPUS /boot/config-$(uname -r)
CONFIG_NR_CPUS_RANGE_BEGIN=8192
CONFIG_NR_CPUS_RANGE_END=8192
CONFIG_NR_CPUS_DEFAULT=8192
CONFIG_NR_CPUS=8192 Целевая VM показывает, что у неё есть поддержка x2apic: Code: # dmesg | grep x2apic
[ 0.000202] x2apic: enabled by BIOS, switching to x2apic ops
[ 0.005437] APIC: Switched APIC routing to: cluster x2apic
[ 8.096206] APIC: Switched APIC routing to: physical x2apic Proxmox сам отлично работает с большим количеством ядер. Буду очень благодарен за любые советы, так как неиспользование всех ядер — это очень болезненно.
08.06.2025 13:51:00, petrufel.]]> http://proxmox.su/forum/messages/forum63/message310706/75779-ubuntu-vm_-yadra-offlaynom. http://proxmox.su/forum/messages/forum63/message310706/75779-ubuntu-vm_-yadra-offlaynom. Sun, 08 Jun 2025 13:51:00 +0300 Proxmox Виртуальная Среда Ubuntu VM: ядра оффлайном. Ubuntu VM: ядра оффлайном. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У тебя x2APIC включен в BIOS и не отключен через командную строку ядра? Если память не изменяет, это требуется для процессоров AMD с > 255 потоками, когда гостевой системе назначается больше vCPU (спасибо @mira за информацию).
04.09.2024 11:27:00, fiona.]]> http://proxmox.su/forum/messages/forum63/message310705/75779-ubuntu-vm_-yadra-offlaynom. http://proxmox.su/forum/messages/forum63/message310705/75779-ubuntu-vm_-yadra-offlaynom. Wed, 04 Sep 2024 11:27:00 +0300 Proxmox Виртуальная Среда Ubuntu VM: ядра оффлайном. Ubuntu VM: ядра оффлайном. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если запускаешь VM из CLI (qm start VMID), появляются какие-то сообщения или предупреждения? Есть ли в системе какие-нибудь логи, связанные с этим? Помню баг-репорт в Ubuntu, где максимальное количество CPU для VM было 288 [1]. Кажется, там это исправили, но не знаю, исправлено ли это в основной ветке. Не смог найти баг-репорт в QEMU. Судя по исходникам, PVE использует ту же самую максималку в 288 CPU [2] (может, я не в том месте ищу, я не разработчик). Заполнил баг-репорт с вопросом об этом [3]. @Kingneutron Иногда для VM может понадобиться "вся машина", чтобы всё равно можно было использовать виртуализацию: живые миграции, резервное копирование, управление жизненным циклом… Могут быть другие подходы, например, использовать больше экземпляров приложения в меньших VM, но иногда сложно добиться правильной настройки. @ITxD Мне тоже интересно это конкретное использование! [1] https://bugs.launchpad.net/ubuntu/+source/qemu/+bug/2012763 [2] https://git.proxmox.com/?p=mirror_q...c18d7de54c112281f74c70c2a699e150;hb=HEAD#l424 [3] https://bugzilla.proxmox.com/show_bug.cgi?id=5671
23.08.2024 11:46:00, VictorSTS.]]> http://proxmox.su/forum/messages/forum63/message310704/75779-ubuntu-vm_-yadra-offlaynom. http://proxmox.su/forum/messages/forum63/message310704/75779-ubuntu-vm_-yadra-offlaynom. Fri, 23 Aug 2024 11:46:00 +0300 Proxmox Виртуальная Среда Ubuntu VM: ядра оффлайном. Ubuntu VM: ядра оффлайном. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я вообще не понимаю, если вы задействовали весь CPU-пространство под (1) VM, почему не запустили bare metal? Зачем вам вообще Proxmox в этом случае?
23.08.2024 06:25:00, Kingneutron.]]> http://proxmox.su/forum/messages/forum63/message310703/75779-ubuntu-vm_-yadra-offlaynom. http://proxmox.su/forum/messages/forum63/message310703/75779-ubuntu-vm_-yadra-offlaynom. Fri, 23 Aug 2024 06:25:00 +0300 Proxmox Виртуальная Среда Ubuntu VM: ядра оффлайном. Ubuntu VM: ядра оффлайном. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Заметил, что показывает только 1 сокет. Я попробовал снизить количество ядер до 128 (256) + 2 сокета. И теперь вижу, что все ядра активны, и команда lscpu также показывает 2 сокета вместо 1.

---------------------------------------------------------------------------------
Архитектура:             x86_64
Режимы работы CPU:         32-разрядный, 64-разрядный
Размеры адресов:          52 бита физической, 57 битов виртуальной
Порядок байтов:             Little Endian
CPU(s):                   256
Список активных CPU:    0-255
Vendor ID:                AuthenticAMD
Название модели:         AMD EPYC 9754 128-Core Processor
Семья CPU:           25
Модель:                160
Потоков на ядро:   1
Ядер на сокет:   128
Сокет(ов):            2
Stepping:             2
BogoMIPS:             4493.24
Флаги:                fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm rep_good nopl cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy svm cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw perfctr_core ssbd ibrs ibpb stibp ibrs_enhanced vm mcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves avx512_bf16 clzero xsaveerptr wbnoinv d arat npt lbrv nrip_save tsc_scale vmcb_clean flushbyasid pausefilter pfthreshold v_vmsave_vmload vgif vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq la57 rdpi d fsrm flush_l1d arch_capabilities
Виртуализация:
Виртуализация:         AMD-V
Vendor гипервизора:      KVM
Тип виртуализации:    полная
Кэш (общая сумма):
L1d:                    16 MiB (256 экземпляров)
L1i:                    16 MiB (256 экземпляров)
L2:                     128 MiB (256 экземпляров)
L3:                     4 GiB (256 экземпляров)
NUMA:
NUMA узлов:           2
NUMA узел0 CPU(s):      0-127
NUMA узел1 CPU(s):      128-255
Уязвимости:
Сбор данных по выборке:   Не затронуто
Itlb многохит:          Не затронуто
L1tf:                   Не затронуто
Mds:                    Не затронуто
Meltdown:               Не затронуто
Mmio устаревшие данные:        Не затронуто
Сбор данных по регистровому файлу: Не затронуто
Retbleed:               Не затронуто
Переполнение стека инструкций:   В уязвимому состоянию: Safe RET, отсутствует микрокод
Обход спекулятивного сохранения:    Смягчение; Speculative Store Bypass отключен через prctl
Spectre v1:             Смягчение; usercopy/swapgs barriers и __user pointer sanitization
Spectre v2:             Смягчение; Enhanced / Automatic IBRS; IBPB conditional; STIBP disabled; RSB filling; PBRSB-eIBRS Не затронуто; BHI Не затронуто
Srbds:                  Не затронуто
Tsx асинхронный отказ:        Не затронуто
23.08.2024 00:13:00, ITxD.]]> http://proxmox.su/forum/messages/forum63/message310702/75779-ubuntu-vm_-yadra-offlaynom. http://proxmox.su/forum/messages/forum63/message310702/75779-ubuntu-vm_-yadra-offlaynom. Fri, 23 Aug 2024 00:13:00 +0300 Proxmox Виртуальная Среда Ubuntu VM: ядра оффлайном. Ubuntu VM: ядра оффлайном. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, мы установили Proxmox на HPE ProLiant сервере с 2 процессорами (128*2=256|512 виртуальных ядер). Создали Ubuntu 24.04 VM и выделили ей 254 ядра (508 виртуальных ядер). Заметили, что VM видит все ядра, но только половина работает. Смотри вывод ниже для более подробной информации: Что мы упускаем? Как включить остальные ядра?

Пользователь добавил изображение

Архитектура:             x86_64
CPU op-mode(s):         32-bit, 64-bit
Размеры адресов:          52 бита физические, 57 битов виртуальные
Порядок байтов:             Little Endian
CPU(s):                   508
Список онлайн CPU:    0-253
Список оффлайн CPU:   254-507
Vendor ID:                AuthenticAMD
Model name:             AMD EPYC 9754 128-Core Processor
CPU family:           25
Model:                160
Thread(s) per core:   1
Core(s) per socket:   254
Socket(s):            1
Stepping:             2
BogoMIPS:             4493.24
Flags:                fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm rep_good nopl cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy svm cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw perfctr_core ssbd ibrs ibpb stibp ibrs_enhanced vm mcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves avx512_bf16 clzero xsaveerptr wbnoinv d arat npt lbrv nrip_save tsc_scale vmcb_clean flushbyasid pausefilter pfthreshold v_vmsave_vmload vgif vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq la57 rdpi d fsrm flush_l1d arch_capabilities
Virtualization features:
Virtualization:         AMD-V
Hypervisor vendor:      KVM
Virtualization type:    full
Кэш (сумма всего):
L1d:                    15.9 MiB (254 экземпляра)
L1i:                    15.9 MiB (254 экземпляра)
L2:                     127 MiB (254 экземпляра)
L3:                     4 GiB (254 экземпляра)
NUMA:
NUMA node(s):           2
NUMA node0 CPU(s):      0-253
NUMA node1 CPU(s):
Уязвимости:
Gather data sampling:   Not affected
Itlb multihit:          Not affected
L1tf:                   Not affected
Mds:                    Not affected
Meltdown:               Not affected
Mmio stale data:        Not affected
Reg file data sampling: Not affected
Retbleed:               Not affected
Spec rstack overflow:   Vulnerable: Safe RET, no microcode
Spec store bypass:      Mitigation; Speculative Store Bypass disabled via prctl
Spectre v1:             Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Spectre v2:             Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP disabled; RSB filling; PBRSB-eIBRS Not affected; BHI Not affected
Srbds:                  Not affected
Tsx async abort:        Not affected
(base) vmadmin@pdva-prod-vm3:~
22.08.2024 23:52:00, ITxD.]]> http://proxmox.su/forum/messages/forum63/message310701/75779-ubuntu-vm_-yadra-offlaynom. http://proxmox.su/forum/messages/forum63/message310701/75779-ubuntu-vm_-yadra-offlaynom. Thu, 22 Aug 2024 23:52:00 +0300 Proxmox Виртуальная Среда