+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ceph Performance в ВМ на Crucial MX500, Proxmox Виртуальная Среда

holr

Guest

30.10.2019 22:42:00

Привет, думаю, что я неправильно настроил свой кластер Proxmox с Ceph на 4 узлах. Я использую SSD Crucial MS500 для пользователей на серверах HP DL380 Gen9 (1 ТБ оперативной памяти). Семь жестких дисков по 2 ТБ настроены как отдельные диски в RAID 0 (я не смог найти чистый вариант HBA в конфигурации сервера) для Ceph, с одним SSD на 2 ТБ в каждом сервере для ОС Proxmox. Всего 28 SSD MX500 по 2 ТБ для Ceph. Ceph работает в выделенной сети на 40 Гбит/с, Proxmox — в сети на 10 Гбит/с. Я провел несколько тестов, используя CrystalDiskMark в виртуальной машине Windows 10, переместив его на SSD LVM ОС Proxmox (слева на прикрепленном изображении), а затем перенес его в кластер Ceph и запустил тест снова (справа на прикрепленном изображении). Хотя я понимаю, что Crucial MX500 не лучший выбор для серверной конфигурации, и что производительность виртуального жесткого диска естественно ухудшается от фиксированного диска LVM до кластера Ceph, следует ли ожидать таких больших различий в скорости? Большое спасибо за любую информацию, которую вы можете предоставить!

holr

Guest

22.11.2019 21:05:00

Я заменил все критически важные MX500 (Sata 6gbps, скорость 560MB/s на чтение, 510MB/s на запись) на Samsung PM1643 (12gbps SAS, скорость 2100MB/s на чтение, 1700MB/s на запись) и получил следующие результаты в crystaldiskmark: (по умолчанию nocache)

(writeback cache):

Учитывая заявленную скорость новых дисков Samsung PM1643, можно ли считать приведенные выше скорости тем, что можно разумно ожидать от массива Ceph на всех SSD? Я поставил старые MX500 в сервер RAID5 (с CentOS в качестве NFS сервера) и перенес свою тестовую виртуальную машину, вот что у меня получилось:

holr Guest	#3 0 22.11.2019 21:09:00 Не могли бы вы любезно сказать, какие цифры получает ваша команда? То есть, что считается хорошими показателями, чтобы я мог сравнить?

sg90 Guest	#4 0 23.11.2019 07:20:00 Какие настройки вы используете для пула CEPH? Вы используете filestore или bluestore?

holr

Guest

23.11.2019 15:03:00

Я использую настройки по умолчанию, созданные в Proxmox 5.4 (bluestore). Настройки пула CEPH следующие: [global] auth client required = none auth cluster required = none auth service required = none cluster network = 10.x.x.0/24 debug_asok = 0/0 debug_auth = 0/0 debug_buffer = 0/0 debug_client = 0/0 debug_context = 0/0 debug_crush = 0/0 debug_filer = 0/0 debug_filestore = 0/0 debug_finisher = 0/0 debug_heartbeatmap = 0/0 debug_journal = 0/0 debug_journaler = 0/0 debug_lockdep = 0/0 debug_mon = 0/0 debug_monc = 0/0 debug_ms = 0/0 debug_objclass = 0/0 debug_objectcatcher = 0/0 debug_objecter = 0/0 debug_optracker = 0/0 debug_osd = 0/0 debug_paxos = 0/0 debug_perfcounter = 0/0 debug_rados = 0/0 debug_rbd = 0/0 debug_rgw = 0/0 debug_throttle = 0/0 debug_timer = 0/0 debug_tp = 0/0 fsid = xxxxxxxx-557e-4a17-8263-xxxxxxxx keyring = /etc/pve/priv/$cluster.$name.keyring mon allow pool delete = true osd journal size = 5120 osd pool default min size = 2 osd pool default size = 3 public network = 192.168.x.0/24 # начало карты crush tunable choose_local_tries 0 tunable choose_local_fallback_tries 0 tunable choose_total_tries 50 tunable chooseleaf_descend_once 1 tunable chooseleaf_vary_r 1 tunable chooseleaf_stable 1 tunable straw_calc_version 1 tunable allowed_bucket_algs 54 # устройства device 0 osd.0 class ssd device 1 osd.1 class ssd device 2 osd.2 class ssd device 3 osd.3 class ssd device 4 osd.4 class ssd device 5 osd.5 class ssd device 6 osd.6 class ssd device 7 osd.7 class ssd device 8 osd.8 class ssd device 9 osd.9 class ssd device 10 osd.10 class ssd device 11 osd.11 class ssd device 12 osd.12 class ssd device 13 osd.13 class ssd device 14 osd.14 class ssd device 15 osd.15 class ssd device 16 osd.16 class ssd device 17 osd.17 class ssd device 18 osd.18 class ssd device 19 osd.19 class ssd device 20 osd.20 class ssd device 21 osd.21 class ssd device 22 osd.22 class ssd device 23 osd.23 class ssd device 24 osd.24 class ssd device 25 osd.25 class ssd device 26 osd.26 class ssd device 27 osd.27 class ssd device 28 osd.28 class ssd device 29 osd.29 class ssd device 30 osd.30 class ssd device 31 osd.31 class ssd device 32 osd.32 class ssd device 33 osd.33 class ssd device 34 osd.34 class ssd # типы type 0 osd type 1 host type 2 chassis type 3 rack type 4 row type 5 pdu type 6 pod type 7 room type 8 datacenter type 9 region type 10 root # резервуары host pve2 { id -3 # не меняйте без нужды id -4 class ssd # не меняйте без нужды # weight 12.225 alg straw2 hash 0 # rjenkins1 item osd.0 weight 1.746 item osd.2 weight 1.746 item osd.3 weight 1.746 item osd.4 weight 1.746 item osd.5 weight 1.746 item osd.6 weight 1.746 item osd.34 weight 1.746 } host pve3 { id -5 # не меняйте без нужды id -6 class ssd # не меняйте без нужды # weight 12.225 alg straw2 hash 0 # rjenkins1 item osd.7 weight 1.746 item osd.8 weight 1.746 item osd.9 weight 1.746 item osd.10 weight 1.746 item osd.11 weight 1.746 item osd.12 weight 1.746 item osd.13 weight 1.746 } host pve4 { id -7 # не меняйте без нужды id -8 class ssd # не меняйте без нужды # weight 12.225 alg straw2 hash 0 # rjenkins1 item osd.14 weight 1.746 item osd.15 weight 1.746 item osd.16 weight 1.746 item osd.17 weight 1.746 item osd.18 weight 1.746 item osd.19 weight 1.746 item osd.20 weight 1.746 } host pve1 { id -9 # не меняйте без нужды id -10 class ssd # не меняйте без нужды # weight 12.225 alg straw2 hash 0 # rjenkins1 item osd.21 weight 1.746 item osd.22 weight 1.746 item osd.23 weight 1.746 item osd.24 weight 1.746 item osd.25 weight 1.746 item osd.26 weight 1.746 item osd.27 weight 1.746 } host pve5 { id -11 # не меняйте без нужды id -12 class ssd # не меняйте без нужды # weight 9.596 alg straw2 hash 0 # rjenkins1 item osd.1 weight 0.250 item osd.28 weight 1.819 item osd.29 weight 1.819 item osd.30 weight 1.819 item osd.31 weight 1.819 item osd.32 weight 1.819 item osd.33 weight 0.250 } root default { id -1 # не меняйте без нужды id -2 class ssd # не меняйте без нужды # weight 58.498 alg straw2 hash 0 # rjenkins1 item pve2 weight 12.225 item pve3 weight 12.225 item pve4 weight 12.225 item pve1 weight 12.225 item pve5 weight 9.596 } # правила rule replicated_rule { id 0 type replicated min_size 1 max_size 10 step take default step chooseleaf firstn 0 type host step emit } # конец карты crush

sg90

Guest

23.11.2019 16:12:00

Во-первых, я заметил, что вы используете 2/1, это совершенно не рекомендуется, особенно при использовании потребительских SSD, вы можете потерять все данные при повреждении одного бита на SSD. Я также заметил, что у вас довольно высокая загрузка, CEPH определенно замедляется с увеличением нагрузки, а потребительские SSD обычно также замедляются, когда на них становится меньше свободного места для TRIM / уборки мусора. Кроме этого, я не вижу других проблем, кроме того, как уже говорили другие, CEPH будет давать вашу SSD разную нагрузку ввода-вывода по сравнению с любыми другими тестами, поэтому то, что вы видите в плане производительности, вероятно, соответствует вашим ожиданиям.

holr

Guest

23.11.2019 17:46:00

Спасибо за ваш ответ и ваше мнение. В ближайшем будущем я буду мигрировать на 3/2, как только смогу разгрузить несколько активных ВМ на кластере; так что это действительно хороший совет. Как вы думаете, разумны ли показатели с корпоративными дисками Samsung (PM1643), приведенные выше? Эти диски характеризуются в 4 раза большей скоростью (по сравнению с потребительскими дисками Crucial MX500), но, как показывают изображения CrystalDiskMark выше, прирост не такой большой, как можно было бы ожидать...

sg90

Guest

24.11.2019 04:19:00

Во время бенчмарка проверял ли ты top / nmon на некоторых узлах CEPH? Посмотри, замечаешь ли ты какие-либо признаки насыщения / сильной задержки ввода-вывода на OSD? Есть ли у тебя запасной SSD, который ты можешь протестировать прямо на той же аппаратной платформе, чтобы убедиться, что ты хотя бы получаешь ту пропускную способность, которую ожидаешь от SSD Raw, и что не нужно углубляться в прошивки / драйверы?

LnxBil

Guest

24.11.2019 12:58:00

Может, глупый вопрос, но PM1643 работают на шине 12 GBit/s SAS? Это производительность одного потока? Обычно SSD показывают лучшие результаты при нескольких потоках и достигают своего максимального пропускного能力 именно благодаря им. Как насчет теста чтения одного из этих дисков? Для сравнения производительности CEPH лучше использовать rados bench или fio, чтобы получить результаты, которые можно сопоставить с тысячами других в интернете.

Alwin Guest	#10 0 26.11.2019 09:00:00 И посмотрите здесь для сравнения. https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/

holr Guest	#11 0 15.11.2019 01:57:00 Привет, это p440ar, выполнение команды дает: записано байт: 1073741824 размер блока: 4194304 время в секундах: 2.426355 байт в секунду: 442532805.034562 IOPS: 105.508043

czechsys Guest	#12 0 15.11.2019 09:14:00 Ты уверен, что P440ar не поддерживает режим HBA без использования метода raid0? У моего коллеги есть MX500 в G8 (P420) в R0, и производительность хорошая, даже с потерей производительности из-за устаревания серверов G8.

drholr Guest	#13 0 15.11.2019 12:56:00 Я использовал lshw, чтобы определить контроллер p440ar, и да, вы правы, диски находятся в индивидуальном рейде 0. Один диск для ОС, остальные 7 — это OSD Ceph, по одному OSD на диск, журналирование также на каждом диске (нет выделенных дисков для журналов).

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры