Всем привет, спасибо за ваши полезные ответы. В системе 12x 1T 7.2k SATA HDD. (4 узла x 3 диска для Ceph) Да, вы правы, система лучше, чем была раньше. Но диски очень медленные. Система использует Bluestore OSD. Поэтому я не могу использовать SSD для журнала. Я переместил файл размером 10 ГБ с помощью scp между двумя узлами и между узлом и виртуальным узлом. Код: 10GB 306.9MB/s 00:33 от узла OS диска до узла диска 10GB 11.5MB/s 14:47 от узла OS диска до диска Ceph VM 10GB 46.4MB/s 03:4 от узла OS диска до диска VM диска Я могу передавать данные между двумя узлами со скоростью более 1 ГБ/с. В этом случае с сетью проблем нет. Но сеть едва используется. Я искал некоторые отчеты о производительности в интернете. Существует в 4 раза лучшее производительность с аналогичным оборудованием, чем у меня. Код: avg-cpu: %user %nice %system %iowait %steal %idle 4.10 0.00 1.68 0.69 0.00 93.53

Устройство: tps MB_read/s MB_wrtn/s MB_read MB_wrtn sdb 80.73 3.20 2.91 2895238 2633180 sdc 82.50 3.14 2.89 2839708 2611683 sdd 84.38 3.39 3.00 3060710 2705882 Похоже, мне нужно найти другое решение.

Привет, iperf Код: [ ID] Интервал Передача Пропускная способность
[ 6] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[ 4] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[ 5] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[ 3] 0.0-10.0 сек 2.73 ГБ 2.35 Гбит/с
[SUM] 0.0-10.0 сек 10.9 ГБ 9.39 Гбит/с fio 4ktest Код: fio --filename=/dev/sdd --direct=1 --rw=randrw --refill_buffers --norandommap --randrepeat=0 --ioengine=libaio --bs=4k --rwmixread=100 --iodepth=16 --numjobs=16 --runtime=60 --group_reporting --name=4ktest
4ktest: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=16
... fio-2.16
Запускаю 16 процессов
Задания: 16 (f=16): [r(16)] [100.0% завершено] [920КБ/0КБ/0КБ /с] [230/0/0 операций в секунду] [eta 00м:00с]
4ktest: (groupid=0, jobs=16): err= 0: pid=1373324: Пн 16 июля 2018 16:21:11
чтение : io=56844КБ, bw=959234B/с, iops=234, runt= 60682мсек
slat (мкс): min=1, max=1016.5К, avg=61651.56, stdev=216010.11
clat (мсек): min=9, max=2878, avg=1025.78, stdev=413.95
lat (мсек): min=14, max=2951, avg=1087.44, stdev=466.56
clat процентиль (мсек):
| 1.00th=[ 46], 5.00th=[ 490], 10.00th=[ 791], 20.00th=[ 840],
| 30.00th=[ 865], 40.00th=[ 889], 50.00th=[ 914], 60.00th=[ 938],
| 70.00th=[ 979], 80.00th=[ 1074], 90.00th=[ 1778], 95.00th=[ 1844],
| 99.00th=[ 1958], 99.50th=[ 1991], 99.90th=[ 2540], 99.95th=[ 2606],
| 99.99th=[ 2868]
lat (мсек): 10=0.01%, 20=0.10%, 50=1.06%, 100=2.14%, 250=1.44%
lat (мсек): 500=0.27%, 750=1.75%, 1000=66.63%, 2000=26.21%, >=2000=0.39%
cpu : usr=0.01%, sys=0.00%, ctx=2526, majf=0, minf=148
IO глубины : 1=0.1%, 2=0.2%, 4=0.5%, 8=0.9%, 16=98.3%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=14211/w=0/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=16

Статус выполнения группы 0 (все задания):
ЧТЕНИЕ: io=56844КБ, aggrb=936КБ/с, minb=936КБ/с, maxb=936КБ/с, mint=60682мсек, maxt=60682мсек

Статистика диска (чтение/запись):
sdd: ios=14343/0, merge=0/0, ticks=8086248/0, in_queue=8090536, util=99.87% 8k7030test Код: fio --filename=/dev/sdd --direct=1 --rw=randrw --refill_buffers --norandommap --randrepeat=0 --ioengine=libaio --bs=8k --rwmixread=70 --iodepth=16 --numjobs=16 --runtime=60 --group_reporting --name=8k7030test
8k7030test: (g=0): rw=randrw, bs=8K-8K/8K-8K/8K-8K, ioengine=libaio, iodepth=16
... fio-2.16
Запускаю 16 процессов
Задания: 14 (f=14): [f(2),_(1),f(12),_(1)] [100.0% завершено] [1712КБ/536КБ/0КБ /с] [214/67/0 операций в секунду] [eta 00м:00с]
8k7030test: (groupid=0, jobs=16): err= 0: pid=1375632: Пн 16 июля 2018 16:24:58
чтение : io=69456КБ, bw=1140.1КБ/с, iops=142, runt= 60879мсек
slat (мкс): min=1, max=1186.1К, avg=72396.31, stdev=252419.78
clat (мсек): min=13, max=3253, avg=1182.40, stdev=478.54
lat (мсек): min=13, max=3526, avg=1254.80, stdev=543.08
clat процентиль (мсек):
| 1.00th=[ 49], 5.00th=[ 237], 10.00th=[ 914], 20.00th=[ 971],
| 30.00th=[ 1004], 40.00th=[ 1037], 50.00th=[ 1057], 60.00th=[ 1090],
| 70.00th=[ 1139], 80.00th=[ 1237], 90.00th=[ 2057], 95.00th=[ 2147],
| 99.00th=[ 2278], 99.50th=[ 2343], 99.90th=[ 3064], 99.95th=[ 3130],
| 99.99th=[ 3261]
запись: io=29104КБ, bw=489536B/с, iops=59, runt= 60879мсек
slat (мкс): min=1, max=1182.2К, avg=68616.06, stdev=247002.88
clat (мсек): min=19, max=4203, avg=1195.66, stdev=479.54
lat (мсек): min=19, max=4203, avg=1264.28, stdev=534.50
clat процентиль (мсек):
| 1.00th=[ 61], 5.00th=[ 865], 10.00th=[ 922], 20.00th=[ 971],
| 30.00th=[ 1012], 40.00th=[ 1037], 50.00th=[ 1057], 60.00th=[ 1090],
| 70.00th=[ 1139], 80.00th=[ 1221], 90.00th=[ 2057], 95.00th=[ 2147],
| 99.00th=[ 2409], 99.50th=[ 3097], 99.90th=[ 3326], 99.95th=[ 3490],
| 99.99th=[ 4228]
lat (мсек): 20=0.02%, 50=0.92%, 100=1.73%, 250=1.95%, 500=0.28%
lat (мсек): 750=0.40%, 1000=22.09%, 2000=59.75%, >=2000=12.86%
cpu : usr=0.01%, sys=0.01%, ctx=2133, majf=0, minf=164
IO глубины : 1=0.1%, 2=0.3%, 4=0.5%, 8=1.0%, 16=98.1%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=8682/w=3638/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=16

Статус выполнения группы 0 (все задания):
ЧТЕНИЕ: io=69456КБ, aggrb=1140КБ/с, minb=1140КБ/с, maxb=1140КБ/с, mint=60879мсек, maxt=60879мсек
ЗАПИСЬ: io=29104КБ, aggrb=478КБ/с, minb=478КБ/с, maxb=478КБ/с, mint=60879мсек, maxt=60879мсек

Статистика диска (чтение/запись):
sdd: ios=8777/3637, merge=0/0, ticks=5571560/2499196, in_queue=8108924, util=99.89%