http://proxmox.su Новое в теме [SOLVED] Таймаут Cehp и потерянные диски форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 25 Apr 2026 10:06:26 +0300 [SOLVED] Таймаут Cehp и потерянные диски Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за помощь и рекомендации. Я заменил некоторые SATA-диски на SAS 10k и добавил по одному SSD на каждую ноду для работы с ceph db. Теперь у меня ceph в 10 раз лучше. Эта конфигурация вполне подходит для моих задач. Это было не просто, потому что я не мог выключить кластер.
07.09.2018 14:07:00, kaltsi.]]> http://proxmox.su/forum/messages/forum63/message340949/79730-solved_-taymaut-cehp-i-poteryannye-diski http://proxmox.su/forum/messages/forum63/message340949/79730-solved_-taymaut-cehp-i-poteryannye-diski Fri, 07 Sep 2018 14:07:00 +0300 Proxmox Виртуальная Среда [SOLVED] Таймаут Cehp и потерянные диски Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Когда вы запускаете тестовую форму на странице три контрольной бумаги и сравниваете результаты, они находятся на уровне Seagate Constellation. На самом деле, не так уж много можно получить с этими дисками SATA на 7.2k. Для более быстрых результатов вам нужно либо больше дисков SATA, либо SSD/NVMe. С последними вы можете использовать отдельный пул, чтобы получить баланс между высокой скоростью и высокой емкостью.
16.07.2018 16:48:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message340948/79730-solved_-taymaut-cehp-i-poteryannye-diski http://proxmox.su/forum/messages/forum63/message340948/79730-solved_-taymaut-cehp-i-poteryannye-diski Mon, 16 Jul 2018 16:48:00 +0300 Proxmox Виртуальная Среда [SOLVED] Таймаут Cehp и потерянные диски Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, iperf Код: [ ID] Интервал Передача Пропускная способность
[ 6] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[ 4] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[ 5] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[ 3] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[SUM] 0.0-10.0 сек 10.9 ГБ 9.39 Гбит/с fio 4ktest Код: fio --filename=/dev/sdd --direct=1 --rw=randrw --refill_buffers --norandommap --randrepeat=0 --ioengine=libaio --bs=4k --rwmixread=100 --iodepth=16 --numjobs=16 --runtime=60 --group_reporting --name=4ktest
4ktest: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=16
... fio-2.16
Запускаю 16 процессов
Задания: 16 (f=16): [r(16)] [100.0% завершено] [920КБ/0КБ/0КБ /с] [230/0/0 операций в секунду] [eta 00м:00с]
4ktest: (groupid=0, jobs=16): err= 0: pid=1373324: Пн 16 июля 2018 16:21:11
чтение : io=56844КБ, bw=959234B/с, iops=234, runt= 60682мсек
slat (мкс): min=1, max=1016.5К, avg=61651.56, stdev=216010.11
clat (мсек): min=9, max=2878, avg=1025.78, stdev=413.95
lat (мсек): min=14, max=2951, avg=1087.44, stdev=466.56
clat процентиль (мсек):
| 1.00th=[ 46], 5.00th=[ 490], 10.00th=[ 791], 20.00th=[ 840],
| 30.00th=[ 865], 40.00th=[ 889], 50.00th=[ 914], 60.00th=[ 938],
| 70.00th=[ 979], 80.00th=[ 1074], 90.00th=[ 1778], 95.00th=[ 1844],
| 99.00th=[ 1958], 99.50th=[ 1991], 99.90th=[ 2540], 99.95th=[ 2606],
| 99.99th=[ 2868]
lat (мсек): 10=0.01%, 20=0.10%, 50=1.06%, 100=2.14%, 250=1.44%
lat (мсек): 500=0.27%, 750=1.75%, 1000=66.63%, 2000=26.21%, >=2000=0.39%
cpu : usr=0.01%, sys=0.00%, ctx=2526, majf=0, minf=148
IO глубины : 1=0.1%, 2=0.2%, 4=0.5%, 8=0.9%, 16=98.3%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=14211/w=0/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=16

Статус выполнения группы 0 (все задания):
ЧТЕНИЕ: io=56844КБ, aggrb=936КБ/с, minb=936КБ/с, maxb=936КБ/с, mint=60682мсек, maxt=60682мсек

Статистика диска (чтение/запись):
sdd: ios=14343/0, merge=0/0, ticks=8086248/0, in_queue=8090536, util=99.87% 8k7030test Код: fio --filename=/dev/sdd --direct=1 --rw=randrw --refill_buffers --norandommap --randrepeat=0 --ioengine=libaio --bs=8k --rwmixread=70 --iodepth=16 --numjobs=16 --runtime=60 --group_reporting --name=8k7030test
8k7030test: (g=0): rw=randrw, bs=8K-8K/8K-8K/8K-8K, ioengine=libaio, iodepth=16
... fio-2.16
Запускаю 16 процессов
Задания: 14 (f=14): [f(2),_(1),f(12),_(1)] [100.0% завершено] [1712КБ/536КБ/0КБ /с] [214/67/0 операций в секунду] [eta 00м:00с]
8k7030test: (groupid=0, jobs=16): err= 0: pid=1375632: Пн 16 июля 2018 16:24:58
чтение : io=69456КБ, bw=1140.1КБ/с, iops=142, runt= 60879мсек
slat (мкс): min=1, max=1186.1К, avg=72396.31, stdev=252419.78
clat (мсек): min=13, max=3253, avg=1182.40, stdev=478.54
lat (мсек): min=13, max=3526, avg=1254.80, stdev=543.08
clat процентиль (мсек):
| 1.00th=[ 49], 5.00th=[ 237], 10.00th=[ 914], 20.00th=[ 971],
| 30.00th=[ 1004], 40.00th=[ 1037], 50.00th=[ 1057], 60.00th=[ 1090],
| 70.00th=[ 1139], 80.00th=[ 1237], 90.00th=[ 2057], 95.00th=[ 2147],
| 99.00th=[ 2278], 99.50th=[ 2343], 99.90th=[ 3064], 99.95th=[ 3130],
| 99.99th=[ 3261]
запись: io=29104КБ, bw=489536B/с, iops=59, runt= 60879мсек
slat (мкс): min=1, max=1182.2К, avg=68616.06, stdev=247002.88
clat (мсек): min=19, max=4203, avg=1195.66, stdev=479.54
lat (мсек): min=19, max=4203, avg=1264.28, stdev=534.50
clat процентиль (мсек):
| 1.00th=[ 61], 5.00th=[ 865], 10.00th=[ 922], 20.00th=[ 971],
| 30.00th=[ 1012], 40.00th=[ 1037], 50.00th=[ 1057], 60.00th=[ 1090],
| 70.00th=[ 1139], 80.00th=[ 1221], 90.00th=[ 2057], 95.00th=[ 2147],
| 99.00th=[ 2409], 99.50th=[ 3097], 99.90th=[ 3326], 99.95th=[ 3490],
| 99.99th=[ 4228]
lat (мсек): 20=0.02%, 50=0.92%, 100=1.73%, 250=1.95%, 500=0.28%
lat (мсек): 750=0.40%, 1000=22.09%, 2000=59.75%, >=2000=12.86%
cpu : usr=0.01%, sys=0.01%, ctx=2133, majf=0, minf=164
IO глубины : 1=0.1%, 2=0.3%, 4=0.5%, 8=1.0%, 16=98.1%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=8682/w=3638/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=16

Статус выполнения группы 0 (все задания):
ЧТЕНИЕ: io=69456КБ, aggrb=1140КБ/с, minb=1140КБ/с, maxb=1140КБ/с, mint=60879мсек, maxt=60879мсек
ЗАПИСЬ: io=29104КБ, aggrb=478КБ/с, minb=478КБ/с, maxb=478КБ/с, mint=60879мсек, maxt=60879мсек

Статистика диска (чтение/запись):
sdd: ios=8777/3637, merge=0/0, ticks=5571560/2499196, in_queue=8108924, util=99.89%
16.07.2018 16:39:00, kaltsi.]]> http://proxmox.su/forum/messages/forum63/message340947/79730-solved_-taymaut-cehp-i-poteryannye-diski http://proxmox.su/forum/messages/forum63/message340947/79730-solved_-taymaut-cehp-i-poteryannye-diski Mon, 16 Jul 2018 16:39:00 +0300 Proxmox Виртуальная Среда [SOLVED] Таймаут Cehp и потерянные диски Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Bluestore позволяет при создании OSD размещать DB/WAL на разных устройствах (pveceph help createosd). В зависимости от доступного кэша результаты могут существенно различаться при каждом запуске. Лучше использовать fio, чтобы протестировать производительность ввода-вывода. Посмотрите эту тему для получения дополнительной информации. https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/ Пожалуйста, проверьте с помощью iperf, какая полоса пропускания у вас между соединениями, чтобы подтвердить графики выше.
16.07.2018 09:28:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message340946/79730-solved_-taymaut-cehp-i-poteryannye-diski http://proxmox.su/forum/messages/forum63/message340946/79730-solved_-taymaut-cehp-i-poteryannye-diski Mon, 16 Jul 2018 09:28:00 +0300 Proxmox Виртуальная Среда [SOLVED] Таймаут Cehp и потерянные диски Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет, спасибо за ваши полезные ответы. В системе 12x 1T 7.2k SATA HDD. (4 узла x 3 диска для Ceph) Да, вы правы, система лучше, чем была раньше. Но диски очень медленные. Система использует Bluestore OSD. Поэтому я не могу использовать SSD для журнала. Я переместил файл размером 10 ГБ с помощью scp между двумя узлами и между узлом и виртуальным узлом. Код: 10GB 306.9MB/s 00:33 от узла OS диска до узла диска 10GB 11.5MB/s 14:47 от узла OS диска до диска Ceph VM 10GB 46.4MB/s 03:4 от узла OS диска до диска VM диска Я могу передавать данные между двумя узлами со скоростью более 1 ГБ/с. В этом случае с сетью проблем нет. Но сеть едва используется. Я искал некоторые отчеты о производительности в интернете. Существует в 4 раза лучшее производительность с аналогичным оборудованием, чем у меня. Код: avg-cpu: %user %nice %system %iowait %steal %idle 4.10 0.00 1.68 0.69 0.00 93.53

Устройство: tps MB_read/s MB_wrtn/s MB_read MB_wrtn sdb 80.73 3.20 2.91 2895238 2633180 sdc 82.50 3.14 2.89 2839708 2611683 sdd 84.38 3.39 3.00 3060710 2705882 Похоже, мне нужно найти другое решение.
13.07.2018 15:13:00, kaltsi.]]> http://proxmox.su/forum/messages/forum63/message340945/79730-solved_-taymaut-cehp-i-poteryannye-diski http://proxmox.su/forum/messages/forum63/message340945/79730-solved_-taymaut-cehp-i-poteryannye-diski Fri, 13 Jul 2018 15:13:00 +0300 Proxmox Виртуальная Среда [SOLVED] Таймаут Cehp и потерянные диски Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет, я много раз получал "timeout" от cehp. У некоторых ВМ пропал диск, и они не могут загрузиться с него. Я еще не анализировал логи, но обновлю этот пост. Дополнительно: лог файл ceph содержит много похожих записей: проверьте обновление: 59 медленных запросов заблокированы > 32 секунды.
26.06.2018 15:07:00, kaltsi.]]> http://proxmox.su/forum/messages/forum63/message340944/79730-solved_-taymaut-cehp-i-poteryannye-diski http://proxmox.su/forum/messages/forum63/message340944/79730-solved_-taymaut-cehp-i-poteryannye-diski Tue, 26 Jun 2018 15:07:00 +0300 Proxmox Виртуальная Среда