+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Multiple OSD's for NVMe устройств, Proxmox Виртуальная Среда

WSL

Guest

29.08.2018 20:31:00

Мы строим кластер Proxmox/Ceph из 6 узлов с использованием как NVMe, так и SATA SSD накопителей. Изучая руководство по настройке Ceph, рекомендация заключается в том, чтобы на одно NVMe устройство приходилось 4 OSD - http://tracker.ceph.com/projects/ceph/wiki/Tuning_for_All_Flash_Deployments#NVMe-SSD-partitioning. Пул SSD настроен и работает как ожидалось. Возможно ли достичь этого с использованием инструментов pve-ceph?

wolfgang

Guest

20.11.2018 08:36:00

Это не лучший подход. Для чего это должно быть хорошим? Вы можете увеличить количество рабочих процессов для более параллельной нагрузки. Единственное, что имеет смысл и работает с тех пор, как PVE внедрил сервер ceph — это использование нескольких WAL/DB на SSD/NVME.

Freemind

Guest

19.11.2018 16:40:00

лучшей практикой для достижения нескольких OSD на каждом NVMe, по-видимому, является "ceph-volume", который создает LVM для bluestore и т.д. - вы бы рекомендовали это? Или есть какие-то планы по поддержке нескольких OSD из интерфейса PVE? Спасибо за ответы

spirit

Guest

20.11.2018 09:11:00

Я думаю, проблема связана с однопоточным финишером. Она была недавно исправлена в nautilus/master, но для mimic есть опция bluestore_shard_finishers=true https://www.spinics.net/lists/ceph-devel/msg39009.html "На данный момент опция bluestore_shard_finishers установлена в false. В результате имеется один финишер для обработки завершения IO bluestore. В сценарии с NVMe это становится узким местом. В моем кластере с одним OSD на диске NVMe, с числом финишеров 1: запись: IOPS=20.6k, BW=80.5MiB/s (84.4MB/s)(70.8GiB/899908msec). А когда я установил число финишеров на 8: запись: IOPS=41.1k, BW=161MiB/s (168MB/s)(141GiB/899916msec) "

Freemind

Guest

20.11.2018 15:08:00

@spirit: спасибо за информацию! @wolfgang: в нашем случае у нас есть 4TB NVMe и дополнительные узлы с всего 1TB NVMe, поэтому мы хотели создать OSD одного размера, чтобы не нужно было корректировать веса для распределения. Является ли использование нескольких OSD на одном NVMe плохой идеей? Как показывают ссылки пользователя "WSL", при использовании нескольких OSD на NVMe, похоже, есть улучшение скорости. Ещё один момент — это масштабируемость, в нашем случае OSD на 1TB идеально подойдут для масштабирования кластера — я не прав?

wolfgang Guest	#6 0 21.11.2018 07:20:00 Не нужно настраивать веса. Если вы создадите 4 отдельных OSD на одном NVME, у вас в итоге будет такой же вес, как и с одним OSD, потому что вес зависит от размера OSD, и это одинаково как для одного, так и для нескольких на одном диске. Мы проводили тесты, чтобы выяснить, быстрее ли работают несколько OSD на высокопроизводительных корпоративных SSD, но разницы нет. Я не понимаю. У вас на каждом узле должно быть примерно одинаковое количество пространства OSD. Распределение обычно (по умолчанию в PVE crush map) осуществляется на уровне узлов, а не на уровне OSD.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры