+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Анализ нагрузки Ceph, Proxmox Виртуальная Среда

Paspao

Guest

29.05.2019 16:27:00

Привет, я хочу понять, достигаю ли я "узкого места" в своем гиперконвергентном кластере Proxmox+ Ceph. В моменты высокой загрузки (несколько LXC с высокой I/O на маленьких файлах) я наблюдаю следующий график: - задержка ввода-вывода 40% - около 50% загрузки процессора - нагрузка 200 (всего 40 ядер / 2 x Intel® Xeon CPU E5-2660 v3 @ 2.60GHz) - ядра процессора, назначенные демону Ceph OSD > 100% - Ceph записывает около 30 МБ/с Диски — Intel S3520 (12 OSD / 6 узлов) Вывод iostat показывает моменты с 100% загрузкой: Спойлер: вывод iostat avg-cpu: %user %nice %system %iowait %steal %idle 22.29 0.00 7.62 36.19 0.00 33.90 Устройство: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sdc 0.00 27.50 21.00 54.50 40.50 9574.00 254.69 0.01 0.11 0.19 0.07 0.11 0.80 sda 0.50 48.00 34.50 952.50 204.00 10768.00 22.23 0.22 0.22 0.35 0.22 0.11 10.60 sdb 0.00 75.00 35.00 945.50 210.00 12916.00 26.77 0.34 0.34 0.23 0.35 0.11 10.60 dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-1 0.00 0.00 0.00 50.00 0.00 9574.00 382.96 0.00 0.04 0.00 0.04 0.04 0.20 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd0 0.00 111.00 1.50 32.00 18.00 876.00 53.37 5.84 210.33 1.33 220.12 29.85 100.00 rbd1 0.00 69.00 1.00 18.00 12.00 446.00 48.21 6.56 392.95 0.00 414.78 50.74 96.40 rbd2 0.00 87.00 0.00 64.50 0.00 702.00 21.77 13.81 209.05 0.00 209.05 15.47 99.80 rbd3 0.00 17.00 0.00 10.00 0.00 110.00 22.00 1.00 121.00 0.00 121.00 70.80 70.80 rbd4 0.00 48.00 0.00 8.50 0.00 332.00 78.12 3.86 620.00 0.00 620.00 117.65 100.00 rbd5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd6 0.00 30.00 0.00 35.50 0.00 304.00 17.13 17.18 666.08 0.00 666.08 28.17 100.00 rbd7 0.00 86.50 0.00 63.00 0.00 870.00 27.62 20.20 475.68 0.00 475.68 15.87 100.00 rbd8 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd9 0.00 58.00 0.00 14.50 0.00 490.00 67.59 5.63 490.62 0.00 490.62 68.00 98.60 rbd10 0.00 3.50 0.00 4.50 0.00 42.00 18.67 1.62 963.11 0.00 963.11 131.11 59.00 rbd11 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.15 864.00 0.00 864.00 308.00 15.40 rbd12 0.00 81.50 0.00 7.50 0.00 356.00 94.93 1.43 194.40 0.00 194.40 124.27 93.20 rbd13 0.00 1.50 0.00 1.50 0.00 12.00 16.00 0.16 289.33 0.00 289.33 104.00 15.60 rbd14 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.00 4.00 0.00 4.00 4.00 0.20 rbd15 0.00 31.50 0.00 8.50 0.00 240.00 56.47 2.80 328.24 0.00 328.24 110.35 93.80 rbd16 0.00 55.00 2.00 22.00 14.00 402.00 34.67 5.08 227.17 18.00 246.18 41.67 100.00 rbd17 0.00 123.00 0.00 32.50 0.00 818.00 50.34 6.45 193.23 0.00 193.23 30.77 100.00 rbd18 0.00 72.50 0.00 25.50 0.00 432.00 33.88 9.48 329.02 0.00 329.02 39.22 100.00 rbd19 0.00 90.00 0.00 26.50 0.00 638.00 48.15 8.15 474.19 0.00 474.19 37.51 99.40 rbd20 0.00 87.00 0.50 19.00 6.00 438.00 45.54 7.65 483.59 0.00 496.32 48.92 95.40 rbd21 0.00 2.50 0.00 2.00 0.00 18.00 18.00 0.03 17.00 0.00 17.00 17.00 3.40 rbd22 0.00 28.00 0.50 13.50 2.00 310.00 44.57 8.24 322.57 4.00 334.37 71.43 100.00 rbd23 0.00 179.50 0.50 44.50 14.00 1194.00 53.69 2.58 64.18 0.00 64.90 17.91 80.60 rbd24 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.21 460.00 0.00 460.00 416.00 20.80 rbd25 0.00 19.00 0.00 2.50 0.00 76.00 60.80 1.65 456.00 0.00 456.00 400.00 100.00 rbd26 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.15 864.00 0.00 864.00 308.00 15.40 rbd27 0.00 1.50 0.00 1.00 0.00 10.00 20.00 0.45 446.00 0.00 446.00 446.00 44.60 rbd28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd29 0.00 0.50 0.00 1.00 0.00 6.00 12.00 0.01 10.00 0.00 10.00 10.00 1.00 rbd30 0.00 0.50 0.00 1.00 0.00 6.00 12.00 0.06 62.00 0.00 62.00 62.00 6.20 rbd31 0.00 71.00 0.00 24.00 0.00 406.00 33.83 3.85 179.08 0.00 179.08 41.67 100.00 Что означает 100% на устройствах rbdX, но низкие значения на sda/sdb? Я достигаю предела как по CPU OSD, так и по пропускной способности диска? Я вижу, что оба ceph-osd работают на одном ядре. Можно ли назначать демоны OSD на отдельные ядра? Есть ли какие-то предложения по оптимизации? Спасибо, P.

Paspao

Guest

25.06.2019 13:36:00

Привет, Альвин, спасибо за твой ответ. Вот я снова за работой, пытаюсь разобраться с I/O wait. Кластер: - 6 узлов с Ceph на PVE 5.4 - WAN-сеть на NIC 1 1Gb - кластерная сеть на NIC 2 1Gb CEPH: - 12 OSD - 3 монитора - 256 pgs - репликация данных x3 (по умолчанию размер пула osd=3) - размер журнала OSD = 5120 - отдельная сеть 10Gb Характеристики серверов: - Dell R630 - 64 ГБ RAM PC4-2133 - 2 x Intel® Xeon CPU E5-2660 v3 @ 2.60GHz (всего 40 ядер на узел) - 2 x Intel S3520 1,2 ТБ SSD (не в RAID) - контроллер H730 - Ethernet 10G 2P X520 Адаптер Характеристики LXC: - на каждом узле примерно 30 LXC работают с - 1 ядром - 1,7 ГБ RAM - 12 ГБ диска - ОС Debian Примеры статистики нагрузки: GUI: https://www.dropbox.com/s/cdem23xbruqift2/GUI.png?dl=0 Ceph GUI: https://www.dropbox.com/s/etp4zsbd54bmfqf/ceph_stats.png?dl=0 Пропускная способность Ceph: https://www.dropbox.com/s/2nzlmpmxit30qys/Ceph_net.png?dl=0 Пропускная способность кластерной сети: https://www.dropbox.com/s/bufjlhth7kptdb4/cluster_net.png?dl=0 Htop: https://www.dropbox.com/s/ff87hefh82wta4d/htop.png?dl=0 Iostat: https://www.dropbox.com/s/wtj0d1grhzgaueq/iostat.png?dl=0 Судя по всему: - это не узкое место в сети - может быть связано с ЦП для процессов ceph, которые превышают 100% - диски должны поддерживать >50K iops, так что они не должны быть узким местом Как мне дальше разобраться? Спасибо.

Alwin

Guest

25.06.2019 14:56:00

В спецификациях указано, что 17500 IOPS – это случайная запись, а 67500 IOPS – случайное чтение. То есть, это SSD с высокой производительностью при чтении. Насколько я помню, они не самые лучшие для нагрузки Ceph. https://ark.intel.com/content/www/d...20-series-1-2tb-2-5in-sata-6gb-s-3d1-mlc.html Существует ли общественная сеть Ceph и кластерная сеть на 10 Гб? Не могли бы вы выложить результат rados bench, для этого смотрите статью по бенчмаркингу Ceph? Они подключены через HBA?

Paspao

Guest

25.06.2019 15:12:00

Спасибо еще раз, Альвин. Это может быть причиной. Как я могу измерить общее количество IOPS на OSD? Ты думаешь, добавление большего количества OSD того же типа дисков может помочь? Ceph сеть работает на 10Gb Nic, а кластерная сеть и WAN сеть (мост) находятся на двух отдельных 1Gb NIC. Является ли rados bench разрушительным? Мне нужно остановить все LXC перед тестированием? Не уверен, что ты имеешь в виду, в настройках Dell H730 я выбрал НЕНАДИ. Спасибо, П.

Alwin

Guest

25.06.2019 15:39:00

Вы можете получить счетчики производительности из Ceph, некоторые инструменты мониторинга производительности могут сделать это из коробки. https://access.redhat.com/documenta...tml/administration_guide/performance_counters Да, увеличение количества OSD и/или узлов увеличит площадь, куда могут направляться записи. Но действительно рекомендуется ознакомиться с документом о бенчмаркинге Ceph, размещенным в обсуждении формы. Какой Ceph сеть используется на 10 Гб? Ceph публичная, Ceph кластер или обе? Я не уверен, имеете ли вы в виду кластерную сеть, так как это также может быть corosync. Нет, он будет записывать объект в пул с собственным префиксом и удалять его позже. Если есть сомнения, создайте новый пул и используйте его. Тест, конечно, добавит дополнительную нагрузку на кластер. В общем, не RAID на самом деле не является HBA. Во многих случаях контроллер RAID все равно влияет на операции чтения/записи. https://pve.proxmox.com/pve-docs/chapter-pveceph.html#_precondition

Paspao Guest	#6 0 25.06.2019 15:55:00 - Corosync находится в сети 10.10.10.0/24 на 1Gb NIC - Публичная сеть Ceph находится в сети 10.10.20.0/24 на 10Gb NIC. Я лучше проверю параметры контроллера RAID. Спасибо, P.

Paspao Guest	#7 0 25.06.2019 16:00:00 Факт, что даже при отсутствии запущенных LXC демон ceph-osd имеет загрузку CPU выше 100%, может что-то подсказать?

Alwin Guest	#8 0 25.06.2019 16:19:00 А что насчет сетевого кластера Ceph? На самом деле ничего конкретного, так как это распределенная система, и множество факторов, как местных, так и внешних, могут на это повлиять. Проверьте логи ceph и системы.

Paspao Guest	#9 0 25.06.2019 16:33:00 На той же сети 10.10.20.0/24

Paspao

Guest

#10

27.06.2019 11:32:00

Одно странное обновление. Мне пришлось перезапустить все узлы один за другим, и после этого задержка ввода-вывода теперь в порядке при том же использовании ВМ. {
"lightbox_close": "Закрыть",
"lightbox_next": "Далее",
"lightbox_previous": "Назад",
"lightbox_error": "Запрашиваемый контент не может быть загружен. Пожалуйста, попробуйте позже.",
"lightbox_start_slideshow": "Начать слайд-шоу",
"lightbox_stop_slideshow": "Остановить слайд-шоу",
"lightbox_full_screen": "Полный экран",
"lightbox_thumbnails": "Эскизы",
"lightbox_download": "Скачать",
"lightbox_share": "Поделиться",
"lightbox_zoom": "Масштаб",
"lightbox_new_window": "Новое окно",
"lightbox_toggle_sidebar": "Переключить боковую панель"
} Могла ли ВМ создавать необычную нагрузку?

Alwin Guest	#11 0 27.06.2019 11:58:00 Также это возможно, но я думаю, ты заметишь большее использование сетевой полосы. Вероятно, это возвращается.

Paspao Guest	#12 0 27.06.2019 14:47:00 Да, но это исключает как медленную работу диска, так и производительность в режиме HBA/Raid в качестве причин.

Alwin Guest	#13 0 28.06.2019 08:03:00 Не обязательно, так как кэши очищаются, а устройства переинициализируются. Это также может быть проблема с прошивкой, проявляющаяся во время работы.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры