Аспро: ЛайтШоп [тема: ceph очень низкая производительность]

ceph очень низкая производительность

Tue, 19 Jun 2018 04:34:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Код: osd commit_latency(ms) apply_latency(ms)
8 65 65
7 74 74
6 52 52
3 0 0
5 214 214
0 70 70
1 85 85
2 76 76
4 196 196

Результат теста с помощью rados bench -p test 60 write --no-cleanup
Код:
Общее время выполнения: 60.319902
Всего выполнено записей: 3802
Размер записи: 4194304
Размер объекта: 4194304
Пропускная способность (МБ/с): 252.122
Стандартное отклонение пропускной способности: 19.7516
Максимальная пропускная способность (МБ/с): 284
Минимальная пропускная способность (МБ/с): 212
Среднее количество IOPS: 63
Стандартное отклонение IOPS: 4
Максимальное количество IOPS: 71
Минимальное количество IOPS: 53
Средняя задержка (с): 0.253834
Стандартное отклонение задержки (с): 0.131711
Максимальная задержка (с): 1.10938
Минимальная задержка (с): 0.0352605

rados bench -p rbd -t 16 60 seq
Код:
Общее время выполнения: 14.515122
Всего выполнено чтений: 3802
Размер чтения: 4194304
Размер объекта: 4194304
Пропускная способность (МБ/с): 1047.73
Среднее количество IOPS: 261
Стандартное отклонение IOPS: 10
Максимальное количество IOPS: 277
Минимальное количество IOPS: 239
Средняя задержка (с): 0.0603855
Максимальная задержка (с): 0.374936
Минимальная задержка (с): 0.0161585

rados bench -p rbd -t 16 60 rand
Код:
Общее время выполнения: 60.076015
Всего выполнено чтений: 19447
Размер чтения: 4194304
Размер объекта: 4194304
Пропускная способность (МБ/с): 1294.83
Среднее количество IOPS: 323
Стандартное отклонение IOPS: 20
Максимальное количество IOPS: 364
Минимальное количество IOPS: 259
Средняя задержка (с): 0.0488371
Максимальная задержка (с): 0.468844
Минимальная задержка (с): 0.00179505

iperf -c
Код:
iperf -c 10.1.1.17
------------------------------------------------------------
Клиент подключается к 10.1.1.17, TCP порт 5001
Размер окна TCP: 2.50 МБ (по умолчанию)
------------------------------------------------------------
[ 3] локальный 10.1.1.16 порт 54442 подключен к 10.1.1.17 порт 5001
[ ID] Интервал Передано Пропускная способность
[ 3] 0.0-10.0 сек 24.5 ГБайт 21.1 Гбит/с
19.06.2018 04:34:00, mada.

ceph очень низкая производительность

Mon, 18 Jun 2018 13:59:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может кто-нибудь дать совет по этому поводу? И какая конфигурация будет лучшей? Спасибо!
18.06.2018 13:59:00, mada.

ceph очень низкая производительность

Sun, 17 Jun 2018 18:58:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мне удалось настроить Mellanox Dual port 54Gb/s FDR карту, однако смог запустить её только без bonding.

Код:
root@c18:~# rados -p test bench 10 write --no-cleanup
hints = 1
Поддерживается 16 параллельных записей по 4194304 байт с объектами размером 4194304 до 10 секунд или 0 объектов
Префикс объекта: benchmark_data_c18_6964
сек Текущие операции начато завершено ср. МБ/с текущие МБ/с последняя задержка(с) ср. задержка(с)
0 0 0 0 0 0 - 0
1 16 58 42 168.005 168 0.135038 0.303561
2 16 82 66 131.989 96 0.103896 0.233506
3 16 82 66 87.9914 0 - 0.233506
4 16 82 66 65.9932 0 - 0.233506
5 16 82 66 52.7943 0 - 0.233506
6 16 82 66 43.995 0 - 0.233506
7 16 119 103 58.8503 29.6 0.095329 0.977303
8 16 134 118 58.9929 60 0.06799 0.943244
9 16 145 129 57.3264 44 0.0470129 0.866839
10 16 145 129 51.5936 0 - 0.866839
11 16 145 129 46.9033 0 - 0.866839
12 13 146 133 44.3278 5.33333 5.19894 0.996659
Общее время: 12.618078
Всего записей: 146
Размер записи: 4194304
Размер объекта: 4194304
Пропускная способность (МБ/с): 46.2828
Стандартное отклонение пропускной способности: 52.5279
Макс. пропускная способность (МБ/с): 168
Мин. пропускная способность (МБ/с): 0
Среднее количество IOPS: 11
Стандартное отклонение IOPS: 13
Максимум IOPS: 42
Минимум IOPS: 0
Средняя задержка (с): 1.36968
Стандартное отклонение задержки (с): 2.2308
Максимальная задержка (с): 6.42949
Минимальная задержка (с): 0.0400822

root@c18:~# rados bench -p test 60 seq
hints = 1
сек Текущие операции начато завершено ср. МБ/с текущие МБ/с последняя задержка(с) ср. задержка(с)
0 0 0 0 0 0 - 0
Общее время: 0.594207
Всего чтений: 146
Размер чтения: 4194304
Размер объекта: 4194304
Пропускная способность (МБ/с): 982.822
Среднее количество IOPS: 245
Стандартное отклонение IOPS: 0
Максимум IOPS: 0
Минимум IOPS: 2147483647
Средняя задержка (с): 0.06347
Максимальная задержка (с): 0.247034
Минимальная задержка (с): 0.012478

root@c18:~#
Честно говоря, не понимаю, почему такая скорость, ведь NIC должен быть 54Gb/s, да и подключен к FDR коммутатору.

Настройка сети:

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet manual
dns-nameservers 8.8.8.8
# dns-* параметры реализуются пакетом resolvconf, если установлен

auto eth1
iface eth1 inet manual

iface eth2 inet manual

auto eth3
iface eth3 inet static
address 10.10.10.17
netmask 255.255.255.0

auto eth4
iface eth4 inet manual

iface eth5 inet manual

auto ib0
iface ib0 inet static
address 10.1.1.17
netmask 255.255.255.0
pre-up echo connected > /sys/class/net/ib0/mode
mtu 65520

auto ib1
iface ib1 inet static
address 10.1.2.17
netmask 255.255.255.0
pre-up echo connected > /sys/class/net/ib1/mode
mtu 65520

auto vmbr0
iface vmbr0 inet static

Тест скорости с помощью iperf:

root@c18:~# iperf -c 10.1.1.17
------------------------------------------------------------
Клиент подключается к 10.1.1.17, TCP порт 5001
TCP окно: 2.50 Мбайт (по умолчанию)
------------------------------------------------------------
[ 3] локальный 10.1.1.18 порт 52312 подключён с 10.1.1.17 порт 5001
[ ID] Интервал Передано Пропускная способность
[ 3] 0.0-10.0 сек 24.5 Гб 21.0 Гбит/с

Так и должно быть или в итоге не 40 Гбит/с?

Вот конфигурация Ceph:

[global]
auth client required = cephx
auth cluster required = cephx
auth service required = cephx
cluster network = 10.1.1.0/24
fsid = 4cb23fa8-fab0-41d9-b334-02fe8dede3a8
keyring = /etc/pve/priv/$cluster.$name.keyring
mon allow pool delete = true
osd journal size = 5120
osd pool default min size = 2
osd pool default size = 3
public network = 10.1.2.0/24

[osd]
keyring = /var/lib/ceph/osd/ceph-$id/keyring

[mon.c16]
host = c16
mon addr = 10.1.1.16:6789

[mon.c18]
host = c18
mon addr = 10.1.1.18:6789

[mon.c17]
host = c17
mon addr = 10.1.1.17:6789
17.06.2018 18:58:00, mada.

ceph очень низкая производительность

Sun, 17 Jun 2018 09:26:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, а как сейчас выглядит твой письменный тест? Удо
17.06.2018 09:26:00, udo.

ceph очень низкая производительность

Sat, 16 Jun 2018 22:43:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я бы использовал разные подсети на eth4 и eth5, или хотя бы на обеих, если использую bonding, иначе сеть не поднимается полностью — IP-адреса bonding не пингуются между узлами. Сейчас я использую один сетевой порт без bonding, и вот результат теста.

root@ceph4:~# rados bench -p test 60 seq hints = 1 sec
Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
Total time run: 0.268494
Total reads made: 53
Read size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 789.589
Average IOPS: 197
Stddev IOPS: 0
Max IOPS: 0
Min IOPS: 2147483647
Average Latency(s): 0.0752336
Max latency(s): 0.266691
Min latency(s): 0.0114345
root@ceph4:~#
16.06.2018 22:43:00, mada.

ceph очень низкая производительность

Sat, 16 Jun 2018 22:04:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, в обоих случаях я проверял, сработает ли это. Если да, то я удалю подсеть с eth4 и eth5, оставлю их включёнными, но пустыми. Потом протестирую с одним портом и посмотрю, что получится.
16.06.2018 22:04:00, mada.

ceph очень низкая производительность

Sat, 16 Jun 2018 21:46:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ок, в обе стороны? Странно, ты используешь eth4 с другой подсетью, а потом как порт в бонде для ceph-сети? На каком VLAN на свиче eth4 и eth5 без тегов? Мне это кажется неправильно. Я бы сначала использовал одну сетевую карту без бонда. И если всё работает, тогда включал бы bonding. Это вряд ли часть проблемы. Udo
16.06.2018 21:46:00, udo.

ceph очень низкая производительность

Sat, 16 Jun 2018 21:30:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вот правильный тест root@ceph4:~# iperf -c 10.10.1.2 ------------------------------------------------------------ Клиент подключается к 10.10.1.2, TCP порт 5001 Размер TCP-окна: 85,0 Кбайт (по умолчанию) ------------------------------------------------------------ [ 3] локальный 10.10.1.4 порт 45112 соединён с 10.10.1.2 порт 5001 [ ID] Интервал Передано Пропускная способность [ 3] 0.0-10.0 сек 10.9 Гбайт 9.40 Гбит/сек root@ceph4:~# Нет, у меня только один коммутатор Juniper 10Gbps с обычной настройкой и bonding в режиме broadcast. Вот конфиг: [global]
auth client required = cephx
auth cluster required = cephx
auth service required = cephx
cluster network = 10.10.1.0/24
fsid = 169d9a8e-1084-4f3e-8e97-5f230a208ef4
keyring = /etc/pve/priv/$cluster.$name.keyring
mon allow pool delete = true
osd journal size = 5120
osd pool default min size = 2
osd pool default size = 3
public network = 10.10.1.0/24

[osd]
keyring = /var/lib/ceph/osd/ceph-$id/keyring

[mon.ceph2]
host = ceph2
mon addr = 10.10.1.2:6789

[mon.ceph4]
host = ceph4
mon addr = 10.10.1.4:6789

[mon.ceph3]
host = ceph3
mon addr = 10.10.1.3:6789 Вот конфиг интерфейсов: auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
dns-nameservers 8.8.8.8
# параметры dns-* реализованы через пакет resolvconf, если установлен

auto eth1
iface eth1 inet static
address 10.10.10.16
netmask 255.255.255.0

iface eth2 inet manual

iface eth3 inet manual

auto eth4
iface eth4 inet static
address 10.10.2.2
netmask 255.255.255.0

auto eth5
iface eth5 inet manual

auto ib0
iface ib0 inet static
address 10.10.3.2
netmask 255.255.255.0
pre-up modprobe ib_ipoib
pre-up echo connected > /sys/class/net/ib0/mode
mtu 65520

auto ib1
iface ib1 inet manual

iface eth6 inet manual

iface eth7 inet manual

auto bond0
iface bond0 inet static
address 10.10.1.2
netmask 255.255.255.0
slaves eth4 eth5
bond_miimon 100
bond_mode broadcast

auto vmbr0
iface vmbr0 inet static
address xxxx
netmask 255.255.255.0
gateway xxxxx
bridge_ports eth0
bridge_stp off
bridge_fd 0

iface vmbr0 inet6 static
address xxxxx
netmask 30
gateway xxxx Как я уже говорил, мне не получается поднять ib Mellanox между узлами. Двойные E5-2660 и 2650 с 75 ГБ оперативки.
16.06.2018 21:30:00, mada.

ceph очень низкая производительность

Sat, 16 Jun 2018 20:47:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет снова. Кстати, насколько быстрые у тебя ноды? Какую конфигурацию CPU и оперативной памяти используешь? Udo
16.06.2018 20:47:00, udo.

ceph очень низкая производительность

Sat, 16 Jun 2018 20:44:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, но это не во время 60-секундного теста записи, да? Сначала нужно запустить на 10.10.1.3 команду "iperf -s"; потом на другом узле можно тестировать с помощью "iperf -c 10.10.1.3". Если у вас в сети задано значение mtu, которое используется для ceph (mtu больше 1500). Jumbo-фреймы обычно 9000. Нет, тест записи — это реальная запись, но во время записи данные буферизуются в Linux. Если потом читать эти данные снова, Linux берёт их из буфера и не считывает повторно с osd. 526 МБ/с (если буферизовано) для сети 10 Гбит/с — это не так уж быстро... нормально, но лучше можно. Как выглядят твои ceph.conf и /etc/network/interfaces? Udo
16.06.2018 20:44:00, udo.

ceph очень низкая производительность

Sat, 16 Jun 2018 20:16:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Код: rados bench -p test 60 write --no-cleanup
Как выглядит "ceph osd perf" во время записи? Вот output с root@ceph3:~# ceph osd perf
osd commit_latency(ms) apply_latency(ms)
8 0 0
6 0 0
7 0 0
5 0 0
4 0 0
0 0 0
1 0 0
2 0 0
3 0 0

Код: Насколько быстрый сетевой канал между нодами?
Тестируйте iperf в обе стороны! Не понимаю, почему у меня такое:
root@ceph3:~# iperf -c 10.10.1.3
connect failed: Connection refused
root@ceph3:~#

Код: Вы включали jumbo-фреймы?
Если да, то работают ли они?
Код: ping -M do -s 8700 ip.ceph.osd.node
Я не понимаю, что это такое, поэтому не могу сказать «да». Где это можно включить? В руководстве Ceph такого не нашёл.

root@ceph3:~# ping -M do -s 8700 10.10.1.2
PING 10.10.1.2 (10.10.1.2) 8700(8728) bytes of data.
ping: local error: Message too long, mtu=1500
ping: local error: Message too long, mtu=1500
ping: local error: Message too long, mtu=1500
ping: local error: Message too long, mtu=1500
ping: local error: Message too long, mtu=1500
^C
--- 10.10.1.2 ping statistics ---
5 packets transmitted, 0 received, +5 errors, 100% packet loss, time 4102ms
root@ceph3:~#

Код: Если читать данные снова, тогда это тестирует скорость чтения по сети, потому что данные кэшируются в памяти (если только у вас не очень мало оперативки).
====code====

  
rados bench -p test 60 seq  
Этот тест не показывает скорость диска!! Только сеть!  
Если хотите реальные данные, нужно сбросить кэш на всех нодах!

=============

Так я неправильно тестировал? Смотрите это:
root@ceph2:~# rados bench -p test 60 seq
hints = 1 sec
Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
Total time run: 0.964826
Total reads made: 127
Read size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 526.519
Average IOPS: 131
Stddev IOPS: 0
Max IOPS: 0
Min IOPS: 2147483647
Average Latency(s): 0.119422
Max latency(s): 0.580055
Min latency(s): 0.0233491
root@ceph2:~#

Код: У вас есть отдельная сеть для ceph-кластера (синхронизация OSD)?
У меня Dual Mellanox ConnectX3 56Gb/s, но не могу настроить приватную сеть — между серверами нет пинга ни через ib0, ни через ib1.
16.06.2018 20:16:00, mada.

ceph очень низкая производительность

Sat, 16 Jun 2018 19:57:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, используй более длительное время теста, чтобы посмотреть на osd-нодах, где именно узкое место (смотри с помощью atop — должен быть установлен заранее). Код: rados bench -p test 60 write --no-cleanup

Как выглядит вывод "ceph osd perf" во время write bench? Насколько быстрое сетевое соединение между нодами? Проверь с помощью iperf в обе стороны! Ты включал jumbo frames? Если да, работают ли они? Код: ping -M do -s 8700 ip.ceph.osd.node

Если считать данные повторно, то проверяется скорость чтения по сети, потому что данные кешируются в памяти (если, конечно, у тебя не очень мало оперативки). Код: rados bench -p test 60 seq

Этот тест не показывает скорость HDD!! Только сеть! Если хочешь получить реальные данные, надо сбросить кеш на всех нодах! У тебя есть отдельная сеть для ceph-кластера (для синхронизации OSD)?
Udo
16.06.2018 19:57:00, udo.

ceph очень низкая производительность

Sat, 16 Jun 2018 18:56:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Сейчас я использую по 1 Intel P3700 на 800 ГБ на узел для DB Journal, и производительность просто ужасная.

root@ceph2:~# rados -p test bench 10 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects
Object prefix: benchmark_data_ceph2_6687

sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
48 8 127 119 9.91539 0 - 1.35358
49 8 127 119 9.71303 0 - 1.35358
50 8 127 119 9.51878 0 - 1.35358

Общее время работы: 50.773652
Всего записей: 127
Размер записи: 4194304
Размер объекта: 4194304
Пропускная способность (МБ/с): 10.0052
Стандартное отклонение пропускной способности: 24.6703
Макс. пропускная способность (МБ/с): 104
Мин. пропускная способность (МБ/с): 0
Среднее число операций ввода-вывода в секунду (IOPS): 2
Стандартное отклонение IOPS: 6
Макс. IOPS: 26
Мин. IOPS: 0
Средняя задержка (с): 3.85386
Стандартное отклонение задержки (с): 9.88605
Максимальная задержка (с): 41.3127
Минимальная задержка (с): 0.0662239

Подключено через 2 двухпортовых Intel RJ45 на 10 Гбит/с в режиме broadcast, тестировал балансировку Balance_tlb — результат тот же. Есть идеи?

Я тестировал скорость P3700 на 4k — около 250 МБ/с, так что в чём может быть проблема?
16.06.2018 18:56:00, mada.

ceph очень низкая производительность

Thu, 24 May 2018 17:03:00 +0300

ceph очень низкая производительность Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я только что собрал Ceph с 3 узлами и 3 дисками по 5 ТБ с кэшем 256, плюс SSD в качестве Journal, двукантовая сетевая карта 10 ГБ, порт Juniper switch 10GB, bond0 — это 2 карты Intel T по 10 ГБ, режим балансировки Mod Balance-tlb. Тестировал Ceph, очень медленно, не понимаю почему.

root@ceph2:~# rados -p test bench 10 write --no-cleanup
hints = 1
Поддерживаем 16 одновременных записей по 4194304 байт на объекты размером 4194304 байт в течение 10 секунд или пока не будет 0 объектов
Префикс объектов: benchmark_data_ceph2_27590

sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 42 26 103.993 104 0.15684 0.337711
2 16 52 36 71.9902 40 0.0943279 0.274127
3 16 52 36 47.9933 0 - 0.274127
4 16 52 36 35.9953 0 - 0.274127
5 16 52 36 28.7962 0 - 0.274127
93 16 52 36 1.5482 0 - 0.274127
94 16 52 36 1.53173 0 - 0.274127
95 16 52 36 1.5156 0 - 0.274127
96 16 52 36 1.49982 0 - 0.274127
97 16 52 36 1.48435 0 - 0.274127
98 16 52 36 1.46921 0 - 0.274127
99 10 53 43 1.73716 0.28866 98.0174 16.1888

2018-05-24 10:58:44.860008 min lat: 0.0784453 max lat: 98.5494 avg lat: 16.1888

sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
100 10 53 43 1.71979 0 - 16.1888

Общее время работы: 100.116822
Всего записей: 53
Размер записи: 4194304
Размер объекта: 4194304
Пропускная способность (МБ/сек): 2.11753
Стандартное отклонение пропускной способности: 11.1046
Максимальная пропускная способность (МБ/сек): 104
Минимальная пропускная способность (МБ/сек): 0
Среднее количество операций ввода-вывода в секунду (IOPS): 0
Стандартное отклонение IOPS: 2
Максимальное IOPS: 26
Минимальное IOPS: 0
Средняя задержка (сек): 30.0458
Стандартное отклонение задержки (сек): 45.6515
Максимальная задержка (сек): 100.116
Минимальная задержка (сек): 0.0784453

root@ceph2:~#

proxmox-ve: 5.2-2 (запущено на ядре: 4.15.17-1-pve)
pve-manager: 5.2-1 (версия: 5.2-1/0fcd7879)
pve-kernel-4.15: 5.2-1
pve-kernel-4.15.17-1-pve: 4.15.17-9
ceph: 12.2.5-pve1
corosync: 2.4.2-pve5
criu: 2.11.1-1~bpo90
glusterfs-client: 3.8.8-1
ksm-control-daemon: установлен некорректно
libjs-extjs: 6.0.1-2
libpve-access-control: 5.0-8
libpve-apiclient-perl: 2.0-4
libpve-common-perl: 5.0-31
libpve-guest-common-perl: 2.0-16
libpve-http-server-perl: 2.0-8
libpve-storage-perl: 5.0-23
libqb0: 1.0.1-1
lvm2: 2.02.168-pve6
lxc-pve: 3.0.0-3
lxcfs: 3.0.0-1
novnc-pve: 0.6-4
proxmox-widget-toolkit: 1.0-18
pve-cluster: 5.0-27
pve-container: 2.0-23
pve-docs: 5.2-4
pve-firewall: 3.0-9
pve-firmware: 2.0-4
pve-ha-manager: 2.0-5
pve-i18n: 1.0-5
pve-libspice-server1: 0.12.8-3
pve-qemu-kvm: 2.11.1-5
pve-xtermjs: 1.0-5
qemu-server: 5.0-26
smartmontools: 6.5+svn4324-1
spiceterm: 3.0-5
vncterm: 1.5-3
24.05.2018 17:03:00, mada.