http://proxmox.su Новое в теме Проблема с производительностью Ceph OSD форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 24 Apr 2026 09:52:03 +0300 Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Для начала разберём эту часть — виртуальные машины будут обращаться к Ceph, так что их данные не обязательно должны находиться на каком-то конкретном узле или OSD. Похоже, это отдельная проблема. Возвращаясь к главному: я так понимаю, что ваш «хороший» кластер из трёх узлов функционирует с большим объёмом данных. Можете ли вы удалить все OSD на плохом узле и добавить обратно SSD и HDD как отдельные OSD для тестов? Хотя, возможно, лучше сделать это на «новом» кластере. В «другом» двухузловом кластере производительность низкая, но вас это устраивало до сих пор? Может быть, ваши SSD сдают позиции (какая-то магия природы SSD)? Возможно, стоит взять SSD на время из «нового» кластера для диагностики?
15.02.2018 13:35:00, Andrew Hart.]]> http://proxmox.su/forum/messages/forum63/message349934/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349934/80671-problema-s-proizvoditelnostyu-ceph-osd Thu, 15 Feb 2018 13:35:00 +0300 Proxmox Виртуальная Среда Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Есть 4 сервера HP G8 с p420i в режиме HBA, 4 OSD на SAS 1ТБ 7.2к Bluestore, сеть 1 Гбит для Proxmox и 2x10 Гбит для CEPH на Netgear XS708T, OSD полностью разделены.

osd.0: bench: записал 1024 МБ блоками по 4096 КБ за 20.028508 сек с скоростью 52354 КБ/с  
osd.1: bench: записал 1024 МБ блоками по 4096 КБ за 16.748930 сек с скоростью 62605 КБ/с  
osd.2: bench: записал 1024 МБ блоками по 4096 КБ за 12.350212 сек с скоростью 84903 КБ/с  
osd.4: bench: записал 1024 МБ блоками по 4096 КБ за 20.396930 сек с скоростью 51408 КБ/с  
osd.5: bench: записал 1024 МБ блоками по 4096 КБ за 16.246150 сек с скоростью 64543 КБ/с  
osd.6: bench: записал 1024 МБ блоками по 4096 КБ за 16.796991 сек с скоростью 62426 КБ/с  
osd.7: bench: записал 1024 МБ блоками по 4096 КБ за 14.001216 сек с скоростью 74891 КБ/с  
osd.8: bench: записал 1024 МБ блоками по 4096 КБ за 10.875927 сек с скоростью 96412 КБ/с

OSD показывают примерно такие результаты. С чего лучше начать разбираться в первую очередь? Спасибо.  
P.S. Раньше была версия 4 с filestore OSD, и скорость была около 130 МБ/с на диск.
15.02.2018 03:29:00, w00dmAn.]]> http://proxmox.su/forum/messages/forum63/message349933/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349933/80671-problema-s-proizvoditelnostyu-ceph-osd Thu, 15 Feb 2018 03:29:00 +0300 Proxmox Виртуальная Среда Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В первом кластере есть три узла, каждый с четырьмя OSD. Все HDD (2 ТБ SAS) и SSD одинаковые. Я пересмотрел конфигурацию первого узла в первом кластере (OSD 0-3) и сравнил её с конфигурацией на других узлах — разницы не заметил. На всех узлах SSD расположен на /dev/sdb, и каждый файл block.db ссылается на раздел на SSD. Узел, который работает медленнее, подключён к основному свитчу по оптоволоконному каналу 10 Гб (и узел, и свитч показывают 10 Гб на этом канале). Команда "ceph tell" запускается на том же узле, где медленнее работают OSD.
14.02.2018 18:01:00, troycarpenter.]]> http://proxmox.su/forum/messages/forum63/message349932/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349932/80671-problema-s-proizvoditelnostyu-ceph-osd Wed, 14 Feb 2018 18:01:00 +0300 Proxmox Виртуальная Среда Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
ceph tell osd.0 bench -f plain  
bench: записано 1024 МБ блоками по 4096 кБ за 8.649105 секунд со скоростью 118 МБ/с  
Это без SSD и без 10G сети, так что я бы предположил, что либо твоего SSD нет, либо твоя 10G сеть на самом деле 1G. Просто так, на всякий случай.
14.02.2018 11:11:00, Andrew Hart.]]> http://proxmox.su/forum/messages/forum63/message349931/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349931/80671-problema-s-proizvoditelnostyu-ceph-osd Wed, 14 Feb 2018 11:11:00 +0300 Proxmox Виртуальная Среда Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
модель ssd?
14.02.2018 08:50:00, aderumier.]]> http://proxmox.su/forum/messages/forum63/message349930/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349930/80671-problema-s-proizvoditelnostyu-ceph-osd Wed, 14 Feb 2018 08:50:00 +0300 Proxmox Виртуальная Среда Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Какие у вас серверы и жесткие диски? Похоже, у меня такая же проблема. С уважением, Алекс
14.02.2018 02:13:00, w00dmAn.]]> http://proxmox.su/forum/messages/forum63/message349929/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349929/80671-problema-s-proizvoditelnostyu-ceph-osd Wed, 14 Feb 2018 02:13:00 +0300 Proxmox Виртуальная Среда Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я сейчас снова вернулся к этой проблеме. Не нашёл ничего, что могло бы объяснить, почему OSD на первом сервере (OSD 0, 1, 2, 3) показывают среднее время записи около 9 секунд, в то время как остальные OSD (с 4 по 11) имеют среднее время записи около 1,5 секунды. У меня есть другой кластер, и у ВСЕХ OSD время записи около 9 секунд:  
Code:  
0:bench: записал 1024 МБ блоками по 4096 кБ за 8.988710 сек со скоростью 113 МБ/с  
1:bench: записал 1024 МБ блоками по 4096 кБ за 8.344043 сек со скоростью 122 МБ/с  
2:bench: записал 1024 МБ блоками по 4096 кБ за 8.901831 сек со скоростью 115 МБ/с  
3:bench: записал 1024 МБ блоками по 4096 кБ за 9.016917 сек со скоростью 113 МБ/с  
4:bench: записал 1024 МБ блоками по 4096 кБ за 8.334694 сек со скоростью 122 МБ/с  
5:bench: записал 1024 МБ блоками по 4096 кБ за 8.300840 сек со скоростью 123 МБ/с  
6:bench: записал 1024 МБ блоками по 4096 кБ за 8.102995 сек со скоростью 126 МБ/с  
7:bench: записал 1024 МБ блоками по 4096 кБ за 7.966184 сек со скоростью 128 МБ/с  
8:bench: записал 1024 МБ блоками по 4096 кБ за 9.441145 сек со скоростью 108 МБ/с  

На втором узле скорость ceph настолько низкая, что пользователи виртуальных машин жалуются, и у некоторых гостей возникают таймауты. Что мне нужно проверить, чтобы понять, почему такой показатель у этого бенчмарка?
13.02.2018 22:15:00, troycarpenter.]]> http://proxmox.su/forum/messages/forum63/message349928/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349928/80671-problema-s-proizvoditelnostyu-ceph-osd Tue, 13 Feb 2018 22:15:00 +0300 Proxmox Виртуальная Среда Проблема с производительностью Ceph OSD Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Расследуя проблемы с производительностью OSD в новом кластере Ceph, я провел тот же анализ в своем «хорошем» кластере. И обнаружил кое-что интересное — возможно, исправление этого решит проблему и в новом кластере.

В «хорошем» кластере у меня три почти одинаковых сервера. На каждом сервере по четыре OSD, всего 12 штук. Когда я выполняю команду «ceph tell osd.x bench -f plain», получаю следующее:

osd.0:bench: записал 1024 МБ блоками по 4096 кБ за 12.109905 сек со скоростью 86588 кБ/с  
osd.1:bench: записал 1024 МБ блоками по 4096 кБ за 8.501180 сек со скоростью 120 МБ/с  
osd.2:bench: записал 1024 МБ блоками по 4096 кБ за 11.384842 сек со скоростью 92102 кБ/с  
osd.3:bench: записал 1024 МБ блоками по 4096 кБ за 8.695865 сек со скоростью 117 МБ/с  
osd.4:bench: записал 1024 МБ блоками по 4096 кБ за 0.753332 сек со скоростью 1359 МБ/с  
osd.5:bench: записал 1024 МБ блоками по 4096 кБ за 1.712017 сек со скоростью 598 МБ/с  
osd.6:bench: записал 1024 МБ блоками по 4096 кБ за 2.815910 сек со скоростью 363 МБ/с  
osd.7:bench: записал 1024 МБ блоками по 4096 кБ за 1.698323 сек со скоростью 602 МБ/с  
osd.8:bench: записал 1024 МБ блоками по 4096 кБ за 0.283092 сек со скоростью 3617 МБ/с  
osd.9:bench: записал 1024 МБ блоками по 4096 кБ за 2.606005 сек со скоростью 392 МБ/с  
osd.10:bench: записал 1024 МБ блоками по 4096 кБ за 2.652026 сек со скоростью 386 МБ/с  
osd.11:bench: записал 1024 МБ блоками по 4096 кБ за 2.468191 сек со скоростью 414 МБ/с

Обратите внимание, что первые четыре OSD на одном сервере работают очень медленно. Все узлы соединены по сети 10GbE и используют одинаковые HDD и по одному SSD на сервер для Bluestore DB.

В кластере задействовано 13 узлов Proxmox, и каждый из них показывает такие же результаты.

Ищу помощь, чтобы понять, почему OSD на одном сервере такие медленные. Я пробовал удалить osd.0 и создать его заново, но скорость всё равно осталась низкой.

Читаю документацию, но надеюсь, кто-то подскажет что-то, что поможет быстрее найти решение.

Заранее спасибо!
03.01.2018 21:22:00, troycarpenter.]]> http://proxmox.su/forum/messages/forum63/message349927/80671-problema-s-proizvoditelnostyu-ceph-osd http://proxmox.su/forum/messages/forum63/message349927/80671-problema-s-proizvoditelnostyu-ceph-osd Wed, 03 Jan 2018 21:22:00 +0300 Proxmox Виртуальная Среда