http://proxmox.su Новое в теме NUMA вопросы снова форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 04 Apr 2026 16:33:27 +0300 NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На Epyc gen2 и выше можно легко использовать NPS=1, эффективно используя один NUMA-нод для всего процессора с незначительными потерями в производительности (по данным AMD) [1]. Я использую NPS=1 и никогда не беспокоился о проблемах NUMA. [1] https://www.amd.com/system/files/documents/4th-gen-epyc-processor-architecture-white-paper.pdf (страница 13)
29.05.2024 13:19:00, VictorSTS.]]> http://proxmox.su/forum/messages/forum63/message322919/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322919/77489-numa-voprosy-snova Wed, 29 May 2024 13:19:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Доступно: 4 узла (0-3)
узел 0 cpus: 0 1 2 3 4 5 6 7 32 33 34 35 36 37 38 39
узел 0 размер: 193205 МБ
узел 0 свободно: 133719 МБ
узел 1 cpus: 8 9 10 11 12 13 14 15 40 41 42 43 44 45 46 47
узел 1 размер: 193530 МБ
узел 1 свободно: 184164 МБ
узел 2 cpus: 16 17 18 19 20 21 22 23 48 49 50 51 52 53 54 55
узел 2 размер: 193489 МБ
узел 2 свободно: 181114 МБ
узел 3 cpus: 24 25 26 27 28 29 30 31 56 57 58 59 60 61 62 63
узел 3 размер: 193487 МБ
узел 3 свободно: 174892 МБ
расстояния между узлами:
узел   0   1   2   3
 0:  10  12  12  12
 1:  12  10  12  12
 2:  12  12  10  12
 3:  12  12  12  10

Ну, после небольшого тестирования могу сказать, что NUMA работает отлично в LXC контейнерах. А в виртуальных машинах — совсем не работает, неважно, включена или выключена опция NUMA в настройках VM. Proxmox или KVM просто случайным образом выбирают ядра из разных NUMA-узлов и не пытаются выбрать доступные ядра для VM из одного NUMA-узла. Так что вся эта концепция абсолютно бессмысленна. Просто передача возможностей NUMA VM, чтобы VM знала, из какого узла ядро, тоже бессмысленна для большинства приложений. Разве что для тех, которые умеют работать с NUMA (их не так много), но даже они будут работать значительно медленнее, как если бы они были на одном NUMA-узле. LXC контейнеры, почему-то (по крайней мере, те, что на Ubuntu 5/6/8 (я тестировал только их), работают, например, команда "stress --cpu 4/6/8" всегда выполняется точно на одном NUMA-узле, что весьма приятно. Непонятно, почему никто не жалуется... Обязательно нужно покопаться глубже, как мне можно реализовать это динамически, без привязки ядер CPU. Привязка ядер CPU невозможна с 30 VM на кластере, особенно если их перегонять с места на место. Даже если идеально распределить эти 4 NUMA-узла, после некоторых миграций узел 1 получит 100% загрузки CPU, а узел 4 будет простаивать на 0%... Значит, должен быть какой-то динамический способ, чтобы Proxmox назначал ядра от одной VM к одному NUMA-узлу. Ядро не может этого сделать, так как оно не знает, какие задачи связаны с какой VM (vCPU).
Cheers
28.05.2024 23:38:00, Ramalama.]]> http://proxmox.su/forum/messages/forum63/message322918/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322918/77489-numa-voprosy-snova Tue, 28 May 2024 23:38:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня ещё один вопрос. Допустим, я дам VM с 4 vCPU, а у хоста 4 Numa Domains, каждый домен с 16 ядрами. Proxmox будет отдавать предпочтение/фиксировать эти 4 vCPU/потока к одному Numa Domain хоста? Если да, то это было бы замечательно, потому что VM может быть старой/устаревшей и т.д., и многопоточные задачи внутри VM не нужно будет беспокоиться о Numa. То есть внутри VM вообще не нужна поддержка Numa. Если нет, то какой тогда смысл в numa? Допустим, я включу numa для этой VM и установлю 4 Socket с 1 Core, как говорит документация Proxmox (вместо 1 Socket с 4 vCPU). Ядра внутри VM не будут иметь общий доступ к L3 кэшу или доступ к нему будет очень медленным, поэтому CPU должны отправлять всё в память, что будет намного медленнее... Тогда, по крайней мере с моей точки зрения, вы делаете ровно наоборот, замедляете всё. Может, кто-то сможет лучше объяснить это, в случае Milan/Rome/Genoa CPU с 4 Chiplet на Socket. Cheers.
28.05.2024 13:48:00, Ramalama.]]> http://proxmox.su/forum/messages/forum63/message322917/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322917/77489-numa-voprosy-snova Tue, 28 May 2024 13:48:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всё в порядке. Проблем с включением опции VM NUMA на односокетном (или другой UMA-системе) нет.
04.12.2023 16:00:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message322916/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322916/77489-numa-voprosy-snova Mon, 04 Dec 2023 16:00:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Единственный вопрос, на который у меня пока нет ответа: * Документация гласит, что NUMA необходима для поддержки горячей замены CPU и памяти. Если ваше оборудование не поддерживает NUMA, это значит, что вы не сможете реализовать горячую замену CPU и памяти, или же стоит всё равно включить NUMA для горячей замены CPU и памяти, но при этом лишиться других преимуществ NUMA? Кто-нибудь знает об этом? У меня нет нескольких сокетов CPU, но я включал NUMA и не уверен, стоит ли это делать или нет.
04.12.2023 15:58:00, cwiggs.]]> http://proxmox.su/forum/messages/forum63/message322915/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322915/77489-numa-voprosy-snova Mon, 04 Dec 2023 15:58:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Обычно это воспринимается как 1 нод, но мне (5950X) всё ещё нужно поэкспериментировать с настройками BIOS, которые показывают оба CCD как отдельные ноды. Задержка памяти одинаковая, но L3 кэш разделен между CCD. Ядро Linux стало лучше справляться с этим в новых версиях, так что я не знаю, стоит ли это усилий. К тому же, один CCD обычно из быстрой партии, а другой — из медленной, поэтому фиксация ядер, возможно, не лучший вариант в целом. Кто-нибудь, пожалуйста, поправьте меня, если я где-то не прав.
29.11.2023 21:19:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message322914/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322914/77489-numa-voprosy-snova Wed, 29 Nov 2023 21:19:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, ты помнишь, какие команды ты запускал, чтобы получить эти два результата? Iperf без Numa = 14 ГБ/с, Iperf с Numa = 40 ГБ/с. Спасибо!
21.04.2025 13:17:00, scruel.]]> http://proxmox.su/forum/messages/forum63/message322913/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322913/77489-numa-voprosy-snova Mon, 21 Apr 2025 13:17:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Зацени мою тему: https://forum.proxmox.com/threads/iperf3-speed-same-node-vs-2-nodes-found-a-bug.146805 Особенно мои последние 2 поста. Iperf без Numa = 14 ГБ/с, Iperf с Numa = 40 ГБ/с. Это не "незначительная" разница. Пока что, единственный выход, который у меня есть, — это привязка процессора, но надеюсь, что в какой-то момент Proxmox начнёт поддерживать Numa.

Cheers.

P.S. Я даже могу разделить ресурсы по L3-кэшу, чтобы получить 8 Numa-нод (по одной на каждый L3-кэш), вместо 4 (по одной на каждый CCD). И я это тестировал, и это даёт ещё больше производительности, но разница не стоит тех головных болей, связанных с 8 нодами, так как каждая numa-нода имеет всего 8 ядер для работы, и это однозначно слишком мало. 4 Numa-ноды дают минимум 16 ядер, так что это хороший баланс. Привязка процессора, которую нужно делать для 8 Numa-нод, слишком трудоёмкая. 4 — это хотя бы в какой-то степени проще в управлении. Если бы Proxmox мог динамически назначать ядра одного ВМ, чтобы они работали на одной Numa-ноде, я бы однозначно перешёл на 8 Numa-нод ради ещё большей производительности. И разница в производительности, если многопоточное приложение внутри вашей ВМ работает на одной Numa-ноде против работы на разных CCD, просто безумная, в большинстве случаев скорость в 2-3 раза выше. Если многопоточное приложение обменивается данными между ядрами (например, любое многопоточное сжатие), то прирост скорости ещё больше.

Cheers.
29.05.2024 15:46:00, Ramalama.]]> http://proxmox.su/forum/messages/forum63/message322912/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322912/77489-numa-voprosy-snova Wed, 29 May 2024 15:46:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ах, ты прав, я не так понял. Значит, если у хоста 2 физических CPU, то я должен настроить VM с NUMA и 2 физическими сокетами, а количество vCPU может быть любым? Ого, интересно. А `numactl` показывает больше одного "узла" на платформе 5900x?
29.11.2023 21:15:00, cwiggs.]]> http://proxmox.su/forum/messages/forum63/message322911/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322911/77489-numa-voprosy-snova Wed, 29 Nov 2023 21:15:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Возможно, стоит использовать NUMA даже при одном сокете, если вы используете многочиповый процессор, например, Ryzen 5900X.
29.11.2023 10:48:00, Dunuin.]]> http://proxmox.su/forum/messages/forum63/message322910/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322910/77489-numa-voprosy-snova Wed, 29 Nov 2023 10:48:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Говорят, рекомендуется устанавливать количество сокетов для ВМ равным количеству NUMA-узлов (физических сокетов процессора), которые у вас есть. Это не то же самое, что vCPU.
29.11.2023 10:36:00, gurubert.]]> http://proxmox.su/forum/messages/forum63/message322909/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322909/77489-numa-voprosy-snova Wed, 29 Nov 2023 10:36:00 +0300 Proxmox Виртуальная Среда NUMA вопросы снова Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я прочитал вики NUMA здесь: https://pve.proxmox.com/wiki/NUMA и руководство администратора, касающееся NUMA здесь: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#qm_virtual_machines_settings, но у меня всё ещё остались вопросы.

* Полезен ли NUMA только в том случае, если у вашего PVE *хоста* больше одного физического процессора?
* В документации сказано, что при включении NUMA нужно настроить ВМ с включённым NUMA на такое же количество vCPUs, как у хоста. Это кажется проблематичным, если я не хочу, чтобы ВМ использовала все ресурсы процессора хоста? Например, у меня 4 физических процессора, и я настроил ВМ на 4 vCPUs, и ВМ использует 100% ресурсов процессора. Это может негативно повлиять на хост и/или другие ВМ.
* В документации сказано, что NUMA обязателен для горячей замены процессоров и памяти. Если ваше оборудование не поддерживает NUMA, значит ли это, что нельзя использовать горячую замену процессоров и памяти, или же следует всё равно включать NUMA, чтобы получить горячую замену процессоров и памяти, но не получить других преимуществ NUMA?

Спасибо.
28.11.2023 18:12:00, cwiggs.]]> http://proxmox.su/forum/messages/forum63/message322908/77489-numa-voprosy-snova http://proxmox.su/forum/messages/forum63/message322908/77489-numa-voprosy-snova Tue, 28 Nov 2023 18:12:00 +0300 Proxmox Виртуальная Среда