http://proxmox.su Новое в теме Multiple OSD's for NVMe устройств форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Tue, 21 Apr 2026 13:02:07 +0300 Multiple OSD's for NVMe устройств Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не нужно настраивать веса. Если вы создадите 4 отдельных OSD на одном NVME, у вас в итоге будет такой же вес, как и с одним OSD, потому что вес зависит от размера OSD, и это одинаково как для одного, так и для нескольких на одном диске. Мы проводили тесты, чтобы выяснить, быстрее ли работают несколько OSD на высокопроизводительных корпоративных SSD, но разницы нет. Я не понимаю. У вас на каждом узле должно быть примерно одинаковое количество пространства OSD. Распределение обычно (по умолчанию в PVE crush map) осуществляется на уровне узлов, а не на уровне OSD.
21.11.2018 07:20:00, wolfgang.]]> http://proxmox.su/forum/messages/forum63/message372127/82993-multiple-osd_s-for-nvme-ustroystv http://proxmox.su/forum/messages/forum63/message372127/82993-multiple-osd_s-for-nvme-ustroystv Wed, 21 Nov 2018 07:20:00 +0300 Proxmox Виртуальная Среда Multiple OSD's for NVMe устройств Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@spirit: спасибо за информацию! @wolfgang: в нашем случае у нас есть 4TB NVMe и дополнительные узлы с всего 1TB NVMe, поэтому мы хотели создать OSD одного размера, чтобы не нужно было корректировать веса для распределения. Является ли использование нескольких OSD на одном NVMe плохой идеей? Как показывают ссылки пользователя "WSL", при использовании нескольких OSD на NVMe, похоже, есть улучшение скорости. Ещё один момент — это масштабируемость, в нашем случае OSD на 1TB идеально подойдут для масштабирования кластера — я не прав?
20.11.2018 15:08:00, Freemind.]]> http://proxmox.su/forum/messages/forum63/message372126/82993-multiple-osd_s-for-nvme-ustroystv http://proxmox.su/forum/messages/forum63/message372126/82993-multiple-osd_s-for-nvme-ustroystv Tue, 20 Nov 2018 15:08:00 +0300 Proxmox Виртуальная Среда Multiple OSD's for NVMe устройств Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я думаю, проблема связана с однопоточным финишером. Она была недавно исправлена в nautilus/master, но для mimic есть опция bluestore_shard_finishers=true https://www.spinics.net/lists/ceph-devel/msg39009.html "На данный момент опция bluestore_shard_finishers установлена в false. В результате имеется один финишер для обработки завершения IO bluestore. В сценарии с NVMe это становится узким местом. В моем кластере с одним OSD на диске NVMe, с числом финишеров 1: запись: IOPS=20.6k, BW=80.5MiB/s (84.4MB/s)(70.8GiB/899908msec). А когда я установил число финишеров на 8: запись: IOPS=41.1k, BW=161MiB/s (168MB/s)(141GiB/899916msec) "
20.11.2018 09:11:00, spirit.]]> http://proxmox.su/forum/messages/forum63/message372125/82993-multiple-osd_s-for-nvme-ustroystv http://proxmox.su/forum/messages/forum63/message372125/82993-multiple-osd_s-for-nvme-ustroystv Tue, 20 Nov 2018 09:11:00 +0300 Proxmox Виртуальная Среда Multiple OSD's for NVMe устройств Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
лучшей практикой для достижения нескольких OSD на каждом NVMe, по-видимому, является "ceph-volume", который создает LVM для bluestore и т.д. - вы бы рекомендовали это? Или есть какие-то планы по поддержке нескольких OSD из интерфейса PVE? Спасибо за ответы
19.11.2018 16:40:00, Freemind.]]> http://proxmox.su/forum/messages/forum63/message372124/82993-multiple-osd_s-for-nvme-ustroystv http://proxmox.su/forum/messages/forum63/message372124/82993-multiple-osd_s-for-nvme-ustroystv Mon, 19 Nov 2018 16:40:00 +0300 Proxmox Виртуальная Среда Multiple OSD's for NVMe устройств Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это не лучший подход. Для чего это должно быть хорошим? Вы можете увеличить количество рабочих процессов для более параллельной нагрузки. Единственное, что имеет смысл и работает с тех пор, как PVE внедрил сервер ceph — это использование нескольких WAL/DB на SSD/NVME.
20.11.2018 08:36:00, wolfgang.]]> http://proxmox.su/forum/messages/forum63/message372123/82993-multiple-osd_s-for-nvme-ustroystv http://proxmox.su/forum/messages/forum63/message372123/82993-multiple-osd_s-for-nvme-ustroystv Tue, 20 Nov 2018 08:36:00 +0300 Proxmox Виртуальная Среда Multiple OSD's for NVMe устройств Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы строим кластер Proxmox/Ceph из 6 узлов с использованием как NVMe, так и SATA SSD накопителей. Изучая руководство по настройке Ceph, рекомендация заключается в том, чтобы на одно NVMe устройство приходилось 4 OSD - http://tracker.ceph.com/projects/ceph/wiki/Tuning_for_All_Flash_Deployments#NVMe-SSD-partitioning. Пул SSD настроен и работает как ожидалось. Возможно ли достичь этого с использованием инструментов pve-ceph?
29.08.2018 20:31:00, WSL.]]> http://proxmox.su/forum/messages/forum63/message372122/82993-multiple-osd_s-for-nvme-ustroystv http://proxmox.su/forum/messages/forum63/message372122/82993-multiple-osd_s-for-nvme-ustroystv Wed, 29 Aug 2018 20:31:00 +0300 Proxmox Виртуальная Среда