http://proxmox.su Новое в теме Анализ нагрузки Ceph форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 15 Nov 2026 01:41:34 +0300 Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не обязательно, так как кэши очищаются, а устройства переинициализируются. Это также может быть проблема с прошивкой, проявляющаяся во время работы.
28.06.2019 08:03:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message358393/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358393/81563-analiz-nagruzki-ceph Fri, 28 Jun 2019 08:03:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, но это исключает как медленную работу диска, так и производительность в режиме HBA/Raid в качестве причин.
27.06.2019 14:47:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358392/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358392/81563-analiz-nagruzki-ceph Thu, 27 Jun 2019 14:47:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Также это возможно, но я думаю, ты заметишь большее использование сетевой полосы. Вероятно, это возвращается.
27.06.2019 11:58:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message358391/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358391/81563-analiz-nagruzki-ceph Thu, 27 Jun 2019 11:58:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Одно странное обновление. Мне пришлось перезапустить все узлы один за другим, и после этого задержка ввода-вывода теперь в порядке при том же использовании ВМ. {
"lightbox_close": "Закрыть",
"lightbox_next": "Далее",
"lightbox_previous": "Назад",
"lightbox_error": "Запрашиваемый контент не может быть загружен. Пожалуйста, попробуйте позже.",
"lightbox_start_slideshow": "Начать слайд-шоу",
"lightbox_stop_slideshow": "Остановить слайд-шоу",
"lightbox_full_screen": "Полный экран",
"lightbox_thumbnails": "Эскизы",
"lightbox_download": "Скачать",
"lightbox_share": "Поделиться",
"lightbox_zoom": "Масштаб",
"lightbox_new_window": "Новое окно",
"lightbox_toggle_sidebar": "Переключить боковую панель"
} Могла ли ВМ создавать необычную нагрузку?
27.06.2019 11:32:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358390/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358390/81563-analiz-nagruzki-ceph Thu, 27 Jun 2019 11:32:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На той же сети 10.10.20.0/24
25.06.2019 16:33:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358389/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358389/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 16:33:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
А что насчет сетевого кластера Ceph? На самом деле ничего конкретного, так как это распределенная система, и множество факторов, как местных, так и внешних, могут на это повлиять. Проверьте логи ceph и системы.
25.06.2019 16:19:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message358388/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358388/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 16:19:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Факт, что даже при отсутствии запущенных LXC демон ceph-osd имеет загрузку CPU выше 100%, может что-то подсказать?
25.06.2019 16:00:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358387/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358387/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 16:00:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
- Corosync находится в сети 10.10.10.0/24 на 1Gb NIC - Публичная сеть Ceph находится в сети 10.10.20.0/24 на 10Gb NIC. Я лучше проверю параметры контроллера RAID. Спасибо, P.
25.06.2019 15:55:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358386/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358386/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 15:55:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вы можете получить счетчики производительности из Ceph, некоторые инструменты мониторинга производительности могут сделать это из коробки. https://access.redhat.com/documenta...tml/administration_guide/performance_counters Да, увеличение количества OSD и/или узлов увеличит площадь, куда могут направляться записи. Но действительно рекомендуется ознакомиться с документом о бенчмаркинге Ceph, размещенным в обсуждении формы. Какой Ceph сеть используется на 10 Гб? Ceph публичная, Ceph кластер или обе? Я не уверен, имеете ли вы в виду кластерную сеть, так как это также может быть corosync. Нет, он будет записывать объект в пул с собственным префиксом и удалять его позже. Если есть сомнения, создайте новый пул и используйте его. Тест, конечно, добавит дополнительную нагрузку на кластер. В общем, не RAID на самом деле не является HBA. Во многих случаях контроллер RAID все равно влияет на операции чтения/записи. https://pve.proxmox.com/pve-docs/chapter-pveceph.html#_precondition
25.06.2019 15:39:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message358385/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358385/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 15:39:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо еще раз, Альвин. Это может быть причиной. Как я могу измерить общее количество IOPS на OSD? Ты думаешь, добавление большего количества OSD того же типа дисков может помочь? Ceph сеть работает на 10Gb Nic, а кластерная сеть и WAN сеть (мост) находятся на двух отдельных 1Gb NIC. Является ли rados bench разрушительным? Мне нужно остановить все LXC перед тестированием? Не уверен, что ты имеешь в виду, в настройках Dell H730 я выбрал НЕНАДИ. Спасибо, П.
25.06.2019 15:12:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358384/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358384/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 15:12:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В спецификациях указано, что 17500 IOPS – это случайная запись, а 67500 IOPS – случайное чтение. То есть, это SSD с высокой производительностью при чтении. Насколько я помню, они не самые лучшие для нагрузки Ceph. https://ark.intel.com/content/www/d...20-series-1-2tb-2-5in-sata-6gb-s-3d1-mlc.html Существует ли общественная сеть Ceph и кластерная сеть на 10 Гб? Не могли бы вы выложить результат rados bench, для этого смотрите статью по бенчмаркингу Ceph? Они подключены через HBA?
25.06.2019 14:56:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message358383/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358383/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 14:56:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Альвин, спасибо за твой ответ. Вот я снова за работой, пытаюсь разобраться с I/O wait. Кластер: - 6 узлов с Ceph на PVE 5.4 - WAN-сеть на NIC 1 1Gb - кластерная сеть на NIC 2 1Gb CEPH: - 12 OSD - 3 монитора - 256 pgs - репликация данных x3 (по умолчанию размер пула osd=3) - размер журнала OSD = 5120 - отдельная сеть 10Gb Характеристики серверов: - Dell R630 - 64 ГБ RAM PC4-2133 - 2 x Intel® Xeon CPU E5-2660 v3 @ 2.60GHz (всего 40 ядер на узел) - 2 x Intel S3520 1,2 ТБ SSD (не в RAID) - контроллер H730 - Ethernet 10G 2P X520 Адаптер Характеристики LXC: - на каждом узле примерно 30 LXC работают с - 1 ядром - 1,7 ГБ RAM - 12 ГБ диска - ОС Debian Примеры статистики нагрузки: GUI: https://www.dropbox.com/s/cdem23xbruqift2/GUI.png?dl=0 Ceph GUI: https://www.dropbox.com/s/etp4zsbd54bmfqf/ceph_stats.png?dl=0 Пропускная способность Ceph: https://www.dropbox.com/s/2nzlmpmxit30qys/Ceph_net.png?dl=0 Пропускная способность кластерной сети: https://www.dropbox.com/s/bufjlhth7kptdb4/cluster_net.png?dl=0 Htop: https://www.dropbox.com/s/ff87hefh82wta4d/htop.png?dl=0 Iostat: https://www.dropbox.com/s/wtj0d1grhzgaueq/iostat.png?dl=0 Судя по всему: - это не узкое место в сети - может быть связано с ЦП для процессов ceph, которые превышают 100% - диски должны поддерживать >50K iops, так что они не должны быть узким местом Как мне дальше разобраться? Спасибо.
25.06.2019 13:36:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358382/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358382/81563-analiz-nagruzki-ceph Tue, 25 Jun 2019 13:36:00 +0300 Proxmox Виртуальная Среда Анализ нагрузки Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я хочу понять, достигаю ли я "узкого места" в своем гиперконвергентном кластере Proxmox+ Ceph. В моменты высокой загрузки (несколько LXC с высокой I/O на маленьких файлах) я наблюдаю следующий график: - задержка ввода-вывода 40% - около 50% загрузки процессора - нагрузка 200 (всего 40 ядер / 2 x Intel® Xeon CPU E5-2660 v3 @ 2.60GHz) - ядра процессора, назначенные демону Ceph OSD > 100% - Ceph записывает около 30 МБ/с Диски — Intel S3520 (12 OSD / 6 узлов) Вывод iostat показывает моменты с 100% загрузкой: Спойлер: вывод iostat avg-cpu: %user %nice %system %iowait %steal %idle 22.29 0.00 7.62 36.19 0.00 33.90 Устройство: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sdc 0.00 27.50 21.00 54.50 40.50 9574.00 254.69 0.01 0.11 0.19 0.07 0.11 0.80 sda 0.50 48.00 34.50 952.50 204.00 10768.00 22.23 0.22 0.22 0.35 0.22 0.11 10.60 sdb 0.00 75.00 35.00 945.50 210.00 12916.00 26.77 0.34 0.34 0.23 0.35 0.11 10.60 dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-1 0.00 0.00 0.00 50.00 0.00 9574.00 382.96 0.00 0.04 0.00 0.04 0.04 0.20 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd0 0.00 111.00 1.50 32.00 18.00 876.00 53.37 5.84 210.33 1.33 220.12 29.85 100.00 rbd1 0.00 69.00 1.00 18.00 12.00 446.00 48.21 6.56 392.95 0.00 414.78 50.74 96.40 rbd2 0.00 87.00 0.00 64.50 0.00 702.00 21.77 13.81 209.05 0.00 209.05 15.47 99.80 rbd3 0.00 17.00 0.00 10.00 0.00 110.00 22.00 1.00 121.00 0.00 121.00 70.80 70.80 rbd4 0.00 48.00 0.00 8.50 0.00 332.00 78.12 3.86 620.00 0.00 620.00 117.65 100.00 rbd5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd6 0.00 30.00 0.00 35.50 0.00 304.00 17.13 17.18 666.08 0.00 666.08 28.17 100.00 rbd7 0.00 86.50 0.00 63.00 0.00 870.00 27.62 20.20 475.68 0.00 475.68 15.87 100.00 rbd8 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd9 0.00 58.00 0.00 14.50 0.00 490.00 67.59 5.63 490.62 0.00 490.62 68.00 98.60 rbd10 0.00 3.50 0.00 4.50 0.00 42.00 18.67 1.62 963.11 0.00 963.11 131.11 59.00 rbd11 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.15 864.00 0.00 864.00 308.00 15.40 rbd12 0.00 81.50 0.00 7.50 0.00 356.00 94.93 1.43 194.40 0.00 194.40 124.27 93.20 rbd13 0.00 1.50 0.00 1.50 0.00 12.00 16.00 0.16 289.33 0.00 289.33 104.00 15.60 rbd14 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.00 4.00 0.00 4.00 4.00 0.20 rbd15 0.00 31.50 0.00 8.50 0.00 240.00 56.47 2.80 328.24 0.00 328.24 110.35 93.80 rbd16 0.00 55.00 2.00 22.00 14.00 402.00 34.67 5.08 227.17 18.00 246.18 41.67 100.00 rbd17 0.00 123.00 0.00 32.50 0.00 818.00 50.34 6.45 193.23 0.00 193.23 30.77 100.00 rbd18 0.00 72.50 0.00 25.50 0.00 432.00 33.88 9.48 329.02 0.00 329.02 39.22 100.00 rbd19 0.00 90.00 0.00 26.50 0.00 638.00 48.15 8.15 474.19 0.00 474.19 37.51 99.40 rbd20 0.00 87.00 0.50 19.00 6.00 438.00 45.54 7.65 483.59 0.00 496.32 48.92 95.40 rbd21 0.00 2.50 0.00 2.00 0.00 18.00 18.00 0.03 17.00 0.00 17.00 17.00 3.40 rbd22 0.00 28.00 0.50 13.50 2.00 310.00 44.57 8.24 322.57 4.00 334.37 71.43 100.00 rbd23 0.00 179.50 0.50 44.50 14.00 1194.00 53.69 2.58 64.18 0.00 64.90 17.91 80.60 rbd24 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.21 460.00 0.00 460.00 416.00 20.80 rbd25 0.00 19.00 0.00 2.50 0.00 76.00 60.80 1.65 456.00 0.00 456.00 400.00 100.00 rbd26 0.00 0.00 0.00 0.50 0.00 2.00 8.00 0.15 864.00 0.00 864.00 308.00 15.40 rbd27 0.00 1.50 0.00 1.00 0.00 10.00 20.00 0.45 446.00 0.00 446.00 446.00 44.60 rbd28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 rbd29 0.00 0.50 0.00 1.00 0.00 6.00 12.00 0.01 10.00 0.00 10.00 10.00 1.00 rbd30 0.00 0.50 0.00 1.00 0.00 6.00 12.00 0.06 62.00 0.00 62.00 62.00 6.20 rbd31 0.00 71.00 0.00 24.00 0.00 406.00 33.83 3.85 179.08 0.00 179.08 41.67 100.00 Что означает 100% на устройствах rbdX, но низкие значения на sda/sdb? Я достигаю предела как по CPU OSD, так и по пропускной способности диска? Я вижу, что оба ceph-osd работают на одном ядре. Можно ли назначать демоны OSD на отдельные ядра? Есть ли какие-то предложения по оптимизации? Спасибо, P.
29.05.2019 16:27:00, Paspao.]]> http://proxmox.su/forum/messages/forum63/message358381/81563-analiz-nagruzki-ceph http://proxmox.su/forum/messages/forum63/message358381/81563-analiz-nagruzki-ceph Wed, 29 May 2019 16:27:00 +0300 Proxmox Виртуальная Среда