http://proxmox.su Новое в теме Проблемы с производительностью диска при использовании Ceph-хранилища. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 12 Nov 2026 14:39:09 +0300 Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Установленная версия: wirtio-win-0.1.266.
09.06.2025 10:25:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324699/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324699/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Mon, 09 Jun 2025 10:25:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Прикрепил файл vmid.conf:

agent: 1, fstrim_cloned_disks=1
bios: ovmf
boot: order=scsi0;scsi1
cores: 8
cpu: x86-64-v2-AES,flags=+pdpe1gb;+aes
efidisk0: CEPH-POOL-SSD:vm-592-disk-0,size=128K
machine: pc-i440fx-9.2
memory: 98304
meta: creation-qemu=9.2.0,ctime=1747412332
name: SRV-TS
net0: virtio=00:50:56:84:c0:c6,bridge=vmbr20
numa: 0
onboot: 1
ostype: win11
scsi0: CEPH-POOL-SSD:vm-592-disk-1,cache=writeback,discard=on,iothread=1,size=900G,ssd=1
scsi1: CEPH-POOL-SSD:vm-592-disk-0,cache=writeback,discard=on,iothread=1,size=200G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=********************
sockets: 1
vmgenid: *********************

Тип файловой системы гостевой ОС - NTFS, размер блока – 4k (по умолчанию).
09.06.2025 10:22:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324698/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324698/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Mon, 09 Jun 2025 10:22:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Какая версия драйверов virtio?
06.06.2025 07:34:00, _gabriel.]]> http://proxmox.su/forum/messages/forum63/message324697/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324697/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Fri, 06 Jun 2025 07:34:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Какой тип (NTFS/ReFS) и размер блока файловой системы гостевой машины? Ты сказал, что настроил ВМ в соответствии с передовыми практиками, но, возможно, будет полезно проверить это. Выложи файл vmid.conf.
05.06.2025 23:13:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message324696/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324696/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Thu, 05 Jun 2025 23:13:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
SAMSUNG mzql23t8hcls-00a07
05.06.2025 17:24:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324695/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324695/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Thu, 05 Jun 2025 17:24:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Какие вообще бывают модели SSD?
05.06.2025 17:18:00, _gabriel.]]> http://proxmox.su/forum/messages/forum63/message324694/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324694/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Thu, 05 Jun 2025 17:18:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет @ness1602, нет, я использую x86-64-v2-AES. Стоит попробовать x86_64_v3, по твоему мнению?
05.06.2025 17:05:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324693/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324693/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Thu, 05 Jun 2025 17:05:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты используешь тип процессора host или x86_64_v3?
05.06.2025 15:19:00, ness1602.]]> http://proxmox.su/forum/messages/forum63/message324692/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324692/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Thu, 05 Jun 2025 15:19:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Несмотря на это, бенчмарк внутри Windows VM работает медленно (только для 4k). Заметил это, потому что пользователи жалуются на медленную работу ERP, и это связано с тем, что их ERP (плохо разработанный) постоянно выполняет 4k-чтения/записи на диск. Windows VM настроена согласно этому документу с лучшими практиками: https://pve.proxmox.com/wiki/Windows_2019_guest_best_practices. Есть ли что-нибудь, что можно сделать для улучшения производительности Ceph? Или оптимизировать конфигурацию Windows VM для Ceph и 4k-чтения/записи? Спасибо.
05.06.2025 14:55:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324691/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324691/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Thu, 05 Jun 2025 14:55:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет @alexskysilk, два интерфейса Ceph настроены в агрегате LACP (802.3ad), каждый интерфейс работает на скорости 25 Гбит/с. CEPH PRIVATE и PUBLIC настроены в одном агрегате LACP (т.е. 50 Гбит/с). Я отвечу на все твои вопросы:

1) Я запустил тест fio, и вот результат:
Jobs: 4 (f=4): [w(4)][100.0%][w=1223MiB/s][w=313k IOPS][eta 00m:00s]
test: (groupid=0, jobs=4): err= 0: pid=619700: Wed Jun  4 15:10:16 2025
write: IOPS=321k, BW=1256MiB/s (1317MB/s)(73.6GiB/60001msec); 0 zone resets
clat (usec): min=2, max=12156, avg=12.12, stdev=31.57
lat (usec): min=2, max=12156, avg=12.16, stdev=31.57
clat percentiles (usec): |  1.00th=[ 6], 5.00th=[ 7], 10.00th=[ 7],
20.00th=[ 8], | 30.00th=[ 8], 40.00th=[ 9], 50.00th=[ 10],
60.00th=[ 10], | 70.00th=[ 11], 80.00th=[ 12], 90.00th=[ 17],
95.00th=[ 32], | 99.00th=[ 43], 99.50th=[ 46], 99.90th=[ 231],
99.95th=[ 490], | 99.99th=[ 1352]
bw (  MiB/s): min=  630, max= 1421, per=100.00%, avg=1256.07, stdev=23.56,
samples=476
iops        : min=161482, max=364006, avg=321554.87, stdev=6031.27,
samples=476
lat (usec)   : 4=0.17%, 10=63.96%, 20=26.80%, 50=8.77%, 100=0.15%
lat (usec)   : 250=0.05%, 500=0.05%, 750=0.02%, 1000=0.01%
lat (msec)   : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%
cpu          : usr=3.59%, sys=90.85%, ctx=66512, majf=4, minf=328
IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=0,19285461,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=32
Run status group 0 (all jobs): WRITE: bw=1256MiB/s (1317MB/s),
1256MiB/s-1256MiB/s (1317MB/s-1317MB/s), io=73.6GiB (79.0GB),
run=60001-60001msec

2) CRUSH RULE {
 "rule_id": 1,
 "rule_name": "ceph-pool-ssd",
 "type": 1,
 "steps": [
   { "op": "take", "item": -2, "item_name": "default~ssd" },
   { "op": "chooseleaf_firstn", "num": 0, "type": "host" },
   { "op": "emit" }
 ]
}

3) CEPH OSD TREE ID  CLASS  WEIGHT    TYPE NAME         STATUS  REWEIGHT  PRI-AFF
-1         41.91705  root default
-3         13.97235      host PX01
 0    ssd   3.49309          osd.0         up   1.00000  1.00000
 1    ssd   3.49309          osd.1         up   0.95001  1.00000
 2    ssd   3.49309          osd.2         up   1.00000  1.00000
-5         13.97235      host PX02
 3    ssd   3.49309          osd.3         up   1.00000  1.00000
 4    ssd   3.49309          osd.4         up   1.00000  1.00000
 5    ssd   3.49309          osd.5         up   1.00000  1.00000
-7         13.97235      host PX03
 6    ssd   3.49309          osd.6         up   1.00000  1.00000
 7    ssd   3.49309          osd.7         up   1.00000  1.00000
 8    ssd   3.49309          osd.8         up   1.00000  1.00000

4) CEPH CONF cat /etc/ceph/ceph.conf
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster_network = 10.255.254.101/24
fsid = d59d29e6-5b2d-4ab3-8eec-5145eaaa4850
mon_allow_pool_delete = true
mon_host = 10.255.255.101 10.255.255.102 10.255.255.103
ms_bind_ipv4 = true
ms_bind_ipv6 = false
osd_pool_default_min_size = 2
osd_pool_default_size = 3
public_network = 10.255.255.101/24
rbd cache = true
rbd cache writethrough until flush = false
debug asok = 0/0
debug auth = 0/0
debug buffer = 0/0
debug client = 0/0
debug context = 0/0
debug crush = 0/0
debug filer = 0/0
debug filestore = 0/0
debug finisher = 0/0
debug heartbeatmap = 0/0
debug journal = 0/0
debug journaler = 0/0
debug lockdep = 0/0
debug mds = 0/0
debug mds balancer = 0/0
debug mds locker = 0/0
debug mds log = 0/0
debug mds log expire = 0/0
debug mds migrator = 0/0
debug mon = 0/0
debug monc = 0/0
debug ms = 0/0
debug objclass = 0/0
debug objectcacher = 0/0
debug objecter = 0/0
debug optracker = 0/0
debug osd = 0/0
debug paxos = 0/0
debug perfcounter = 0/0
debug rados = 0/0
debug rbd = 0/0
debug rgw = 0/0
debug throttle = 0/0
debug timer = 0/0
debug tp = 0/0
[client]
keyring = /etc/pve/priv/$cluster.$name.keyring
[client.crash]
keyring = /etc/pve/ceph/$cluster.$name.keyring
[mon.px01]
public_addr = 10.255.255.101
[mon.px02]
public_addr = 10.255.255.102
[mon.px03]
public_addr = 10.255.255.103
04.06.2025 17:36:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324690/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324690/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Wed, 04 Jun 2025 17:36:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
4k: 2610/4=650 операций ввода, 8390/4=2097 операций записи. Теоретически 10 Гбит — это 1250 МБ/с, но это недостижимо из-за накладных расходов. Для 2869 МБ/с минимум нужна сетевая связь на 25 Гбит, иначе ты просто измеряешь локальный кэш.
03.06.2025 20:28:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message324689/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324689/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Tue, 03 Jun 2025 20:28:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Что такое второй ранг? Предполагаю: запись данных. Это будет 2000 IOPS. По сети. Очень часто в два раза для пула по умолчанию "size=3, min_size=2" - в зависимости от топологии. Плюс время на накладные расходы протокола, например, финальное "ок, данные записаны. Продолжай..." С сетью 1 GBit/s (вы нам об этом ничего не рассказали) это больше, чем я бы ожидал. ((На самом деле это примерно то, что я получал со своей выделенной сетью 2.5 GBit/s для обычного использования. С 12 хорошими OSD на 6 узлах и iodepth=32 fio показал мне 9900 IOPS, немного меньше 10k. Моя собственная конфигурация — это история, её больше не существует. Некоторые подсказки: https://forum.proxmox.com/threads/fabu-can-i-use-ceph-in-a-_very_-small-cluster.159671/ ))
03.06.2025 20:14:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message324688/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324688/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Tue, 03 Jun 2025 20:14:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты уверен? Когда бенчмаркишь производительность в 4K, не обращай внимания на MB/s. Что по IOPs? – Тип данных (последовательный/случайный) сильно повлияет на то, как ты это воспринимаешь. Цифры последовательного чтения/записи больших объемов кажутся привлекательными, но в реальной работе такие сценарии встречаются редко. Если опишешь свой случай использования и переменные fio, мы сможем копнуть глубже; также помогли бы твои правила crush и вывод ceph osd tree, а также ceph.conf и скорость/MTU твоих публичных и приватных интерфейсов.
03.06.2025 18:50:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message324687/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324687/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Tue, 03 Jun 2025 18:50:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты не сказал, какие именно диски.
03.06.2025 18:25:00, ness1602.]]> http://proxmox.su/forum/messages/forum63/message324686/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324686/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Tue, 03 Jun 2025 18:25:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не 50 гигабит, а 2x25. Один запрос ввода-вывода не может превышать 25 гигабит, один канал на LAG, и транзакции Ceph все еще однопоточные. Хорошая новость в том, что это, в общем-то, не сделает никакой разницы, потому что каждый из ваших OSD-нод все равно нуждается в двух транзакциях на каждый ввод-вывод (одна на публичном интерфейсе, одна на приватном).
04.06.2025 21:38:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message324685/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324685/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Wed, 04 Jun 2025 21:38:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вообще-то, это совсем не медленно.
04.06.2025 21:33:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message324684/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324684/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Wed, 04 Jun 2025 21:33:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Модель диска? LACP обычно 2x25, вряд ли ты заполнишь полную двойную пропускную способность.
04.06.2025 20:51:00, ness1602.]]> http://proxmox.su/forum/messages/forum63/message324683/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324683/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Wed, 04 Jun 2025 20:51:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, подтверждаю, два интерфейса Ceph настроены в LACP bond (802.3ad), каждый интерфейс по 25 Гбит/с. Ceph PRIVATE и PUBLIC настроены на одном LACP bond (следовательно, общая пропускная способность 50 Гбит/с).
04.06.2025 17:44:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324682/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324682/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Wed, 04 Jun 2025 17:44:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @UdoB, да, второй тариф — "write". Два интерфейса Ceph настроены в LACP-группе (802.3ad), каждый интерфейс — по 25 Гбит/с. Ceph PRIVATE и PUBLIC настроены в одной LACP-группе (то есть 50 Гбит/с).
04.06.2025 17:39:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324681/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324681/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Wed, 04 Jun 2025 17:39:00 +0300 Proxmox Виртуальная Среда Проблемы с производительностью диска при использовании Ceph-хранилища. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня проблемы с производительностью диска у виртуальной машины Windows 2019. Storage pool моего кластера Proxmox — это CEPH POOL (с SSD дисками). У виртуальной машины есть ПО, которое пишет блоками размером 4k, и производительность, проверенная с помощью инструментов для бенчмарка, очень низкая при записи 4k. Вот результаты бенчмарка:

- последовательная: 2869 MB/s (чтение) 1498 MB7s (запись)
- 4k: 2,61 MB/s (чтение) 8,39 MB/s

Производительность 4k очень низкая, есть ли способ улучшить/оптимизировать её? Можете посоветовать что-нибудь? Конфигурации Ceph выполнялись в соответствии с базовыми настройками, и производительность хорошая (за исключением размера блока 4k). Я хотел бы улучшить текущую производительность при размере блока 4k или понять, какое решение можно принять.

Спасибо.
03.06.2025 18:25:00, SB3rt_PX.]]> http://proxmox.su/forum/messages/forum63/message324680/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. http://proxmox.su/forum/messages/forum63/message324680/77765-problemy-s-proizvoditelnostyu-diska-pri-ispolzovanii-ceph_khranilishcha. Tue, 03 Jun 2025 18:25:00 +0300 Proxmox Виртуальная Среда