Сейчас я использую по 1 Intel P3700 на 800 ГБ на узел для DB Journal, и производительность просто ужасная.

root@ceph2:~# rados -p test bench 10 write --no-cleanup  
hints = 1  
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects  
Object prefix: benchmark_data_ceph2_6687  

sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)  
0       0         0         0         0         0           -           0  
48       8       127       119   9.91539         0           -     1.35358  
49       8       127       119   9.71303         0           -     1.35358  
50       8       127       119   9.51878         0           -     1.35358  

Общее время работы:          50.773652  
Всего записей:              127  
Размер записи:              4194304  
Размер объекта:             4194304  
Пропускная способность (МБ/с): 10.0052  
Стандартное отклонение пропускной способности: 24.6703  
Макс. пропускная способность (МБ/с): 104  
Мин. пропускная способность (МБ/с): 0  
Среднее число операций ввода-вывода в секунду (IOPS): 2  
Стандартное отклонение IOPS: 6  
Макс. IOPS: 26  
Мин. IOPS: 0  
Средняя задержка (с): 3.85386  
Стандартное отклонение задержки (с): 9.88605  
Максимальная задержка (с): 41.3127  
Минимальная задержка (с): 0.0662239  

Подключено через 2 двухпортовых Intel RJ45 на 10 Гбит/с в режиме broadcast, тестировал балансировку Balance_tlb — результат тот же. Есть идеи?  

Я тестировал скорость P3700 на 4k — около 250 МБ/с, так что в чём может быть проблема?

Код: rados bench -p test 60 write --no-cleanup  
Как выглядит "ceph osd perf" во время записи? Вот output с root@ceph3:~# ceph osd perf  
osd  commit_latency(ms)  apply_latency(ms)  
8    0                  0  
6    0                  0  
7    0                  0  
5    0                  0  
4    0                  0  
0    0                  0  
1    0                  0  
2    0                  0  
3    0                  0  

Код: Насколько быстрый сетевой канал между нодами?  
Тестируйте iperf в обе стороны! Не понимаю, почему у меня такое:  
root@ceph3:~# iperf -c 10.10.1.3  
connect failed: Connection refused  
root@ceph3:~#  

Код: Вы включали jumbo-фреймы?  
Если да, то работают ли они?  
Код: ping -M do -s 8700 ip.ceph.osd.node  
Я не понимаю, что это такое, поэтому не могу сказать «да». Где это можно включить? В руководстве Ceph такого не нашёл.  

root@ceph3:~# ping -M do -s 8700 10.10.1.2  
PING 10.10.1.2 (10.10.1.2) 8700(8728) bytes of data.  
ping: local error: Message too long, mtu=1500  
ping: local error: Message too long, mtu=1500  
ping: local error: Message too long, mtu=1500  
ping: local error: Message too long, mtu=1500  
ping: local error: Message too long, mtu=1500  
^C  
--- 10.10.1.2 ping statistics ---  
5 packets transmitted, 0 received, +5 errors, 100% packet loss, time 4102ms  
root@ceph3:~#  

Код: Если читать данные снова, тогда это тестирует скорость чтения по сети, потому что данные кэшируются в памяти (если только у вас не очень мало оперативки).  
 

Так я неправильно тестировал? Смотрите это:  
root@ceph2:~# rados bench -p test 60 seq  
hints = 1 sec  
Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)  
0         0         0         0        0        0           -           0  
Total time run:       0.964826  
Total reads made:     127  
Read size:            4194304  
Object size:          4194304  
Bandwidth (MB/sec):   526.519  
Average IOPS:         131  
Stddev IOPS:          0  
Max IOPS:             0  
Min IOPS:             2147483647  
Average Latency(s):   0.119422  
Max latency(s):       0.580055  
Min latency(s):       0.0233491  
root@ceph2:~#  

Код: У вас есть отдельная сеть для ceph-кластера (синхронизация OSD)?  
У меня Dual Mellanox ConnectX3 56Gb/s, но не могу настроить приватную сеть — между серверами нет пинга ни через ib0, ни через ib1.

Привет снова. Кстати, насколько быстрые у тебя ноды? Какую конфигурацию CPU и оперативной памяти используешь? Udo

Ок, в обе стороны? Странно, ты используешь eth4 с другой подсетью, а потом как порт в бонде для ceph-сети? На каком VLAN на свиче eth4 и eth5 без тегов? Мне это кажется неправильно. Я бы сначала использовал одну сетевую карту без бонда. И если всё работает, тогда включал бы bonding. Это вряд ли часть проблемы. Udo

Я бы использовал разные подсети на eth4 и eth5, или хотя бы на обеих, если использую bonding, иначе сеть не поднимается полностью — IP-адреса bonding не пингуются между узлами. Сейчас я использую один сетевой порт без bonding, и вот результат теста.

root@ceph4:~# rados bench -p test 60 seq hints = 1 sec  
Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)  
0         0        0         0         0        0           -           0  
Total time run:       0.268494  
Total reads made:     53  
Read size:            4194304  
Object size:          4194304  
Bandwidth (MB/sec):   789.589  
Average IOPS:         197  
Stddev IOPS:          0  
Max IOPS:             0  
Min IOPS:             2147483647  
Average Latency(s):   0.0752336  
Max latency(s):       0.266691  
Min latency(s):       0.0114345  
root@ceph4:~#

Мне удалось настроить Mellanox Dual port 54Gb/s FDR карту, однако смог запустить её только без bonding.

Код:
root@c18:~# rados -p test bench 10 write --no-cleanup  
hints = 1  
Поддерживается 16 параллельных записей по 4194304 байт с объектами размером 4194304 до 10 секунд или 0 объектов  
Префикс объекта: benchmark_data_c18_6964  
 сек Текущие операции  начато  завершено  ср. МБ/с  текущие МБ/с  последняя задержка(с)  ср. задержка(с)  
   0       0           0         0          0         0          -            0  
   1      16          58        42     168.005     168     0.135038     0.303561  
   2      16          82        66     131.989      96     0.103896     0.233506  
   3      16          82        66     87.9914       0          -       0.233506  
   4      16          82        66     65.9932       0          -       0.233506  
   5      16          82        66     52.7943       0          -       0.233506  
   6      16          82        66     43.995        0          -       0.233506  
   7      16         119       103     58.8503      29.6   0.095329     0.977303  
   8      16         134       118     58.9929       60    0.06799      0.943244  
   9      16         145       129     57.3264       44   0.0470129     0.866839  
  10      16         145       129     51.5936        0          -       0.866839  
  11      16         145       129     46.9033        0          -       0.866839  
  12      13         146       133     44.3278    5.33333   5.19894      0.996659  
Общее время:         12.618078  
Всего записей:       146  
Размер записи:        4194304  
Размер объекта:       4194304  
Пропускная способность (МБ/с): 46.2828  
Стандартное отклонение пропускной способности: 52.5279  
Макс. пропускная способность (МБ/с): 168  
Мин. пропускная способность (МБ/с): 0  
Среднее количество IOPS: 11  
Стандартное отклонение IOPS: 13  
Максимум IOPS: 42  
Минимум IOPS: 0  
Средняя задержка (с): 1.36968  
Стандартное отклонение задержки (с): 2.2308  
Максимальная задержка (с): 6.42949  
Минимальная задержка (с): 0.0400822  

root@c18:~# rados bench -p test 60 seq  
hints = 1  
 сек Текущие операции  начато  завершено  ср. МБ/с  текущие МБ/с  последняя задержка(с)  ср. задержка(с)  
   0       0           0         0          0         0           -           0  
Общее время:       0.594207  
Всего чтений:      146  
Размер чтения:       4194304  
Размер объекта:      4194304  
Пропускная способность (МБ/с): 982.822  
Среднее количество IOPS: 245  
Стандартное отклонение IOPS: 0  
Максимум IOPS: 0  
Минимум IOPS: 2147483647  
Средняя задержка (с): 0.06347  
Максимальная задержка (с): 0.247034  
Минимальная задержка (с): 0.012478  

root@c18:~#  
Честно говоря, не понимаю, почему такая скорость, ведь NIC должен быть 54Gb/s, да и подключен к FDR коммутатору.

Настройка сети:

auto lo  
iface lo inet loopback  

auto eth0  
iface eth0 inet manual  
   dns-nameservers 8.8.8.8  
# dns-* параметры реализуются пакетом resolvconf, если установлен  

auto eth1  
iface eth1 inet manual  

iface eth2 inet manual  

auto eth3  
iface eth3 inet static  
   address  10.10.10.17  
   netmask  255.255.255.0  

auto eth4  
iface eth4 inet manual  

iface eth5 inet manual  

auto ib0  
iface ib0 inet static  
   address  10.1.1.17  
   netmask  255.255.255.0  
       pre-up echo connected > /sys/class/net/ib0/mode  
       mtu 65520  

auto ib1  
iface ib1 inet static  
   address  10.1.2.17  
   netmask  255.255.255.0  
       pre-up echo connected > /sys/class/net/ib1/mode  
       mtu 65520  

auto vmbr0  
iface vmbr0 inet static  

Тест скорости с помощью iperf:

root@c18:~# iperf -c 10.1.1.17  
------------------------------------------------------------  
Клиент подключается к 10.1.1.17, TCP порт 5001  
TCP окно: 2.50 Мбайт (по умолчанию)  
------------------------------------------------------------  
[ 3] локальный 10.1.1.18 порт 52312 подключён с 10.1.1.17 порт 5001
[ ID] Интервал Передано Пропускная способность
[ 3] 0.0-10.0 сек 24.5 Гб 21.0 Гбит/с

Так и должно быть или в итоге не 40 Гбит/с?  

Вот конфигурация Ceph:

[global]
    auth client required = cephx  
    auth cluster required = cephx  
    auth service required = cephx  
    cluster network = 10.1.1.0/24  
    fsid = 4cb23fa8-fab0-41d9-b334-02fe8dede3a8  
    keyring = /etc/pve/priv/$cluster.$name.keyring  
    mon allow pool delete = true  
    osd journal size = 5120  
    osd pool default min size = 2  
    osd pool default size = 3  
    public network = 10.1.2.0/24  

[osd]
    keyring = /var/lib/ceph/osd/ceph-$id/keyring  

[mon.c16]
    host = c16  
    mon addr = 10.1.1.16:6789  

[mon.c18]
    host = c18  
    mon addr = 10.1.1.18:6789  

[mon.c17]
    host = c17  
    mon addr = 10.1.1.17:6789