Привет всем! Хочу поделиться своим опытом и узнать ваше мнение об использовании Ceph с RBD или KRBD. Заметил значительный прирост производительности с KRBD, но не уверен в его надежности, особенно для постоянного и длительного использования. Прилагаю скриншоты, сделанные из Windows VM с CrystalDiskMark. На одном из них используется librbd, а на другом (значительно) выше производительность — с KRBD. Моя конфигурация: небольшой Proxmox кластер с Ceph, состоящий из трех серверов Dell 730, каждый с 10 SAS HDD. Контроллеры — PERC H730, перенастроены в смешанном режиме (RAID1 с 2 HDD для загрузки и 10 HDD в режиме HBA). Обе сети (публичная и Ceph) используют двухканальное 2x10 Gbit lacp layer 3+4 bonded соединение на хост. VMs, используемые для тестирования, имеют контроллер VirtIO single с write-back кэшем. Во время тестирования с KRBD VM, в определенные моменты, мне казалось, что она полностью зависла, и даже консоль не отвечала — по крайней мере, пока не закончился тест. После этого всё вернулось в нормальное состояние. Поэтому я не уверен, вызвана ли эта проблема хостом, что потенциально может влиять и на другие VMs, или это проблема, ограниченная конкретно гостевой системой. Заранее спасибо всем за советы и предложения!
Опыт и надежность Ceph RBD или KRBD., Proxmox Виртуальная Среда
|
16.02.2025 12:02:00
|
|
|
|
|
|
17.02.2025 17:43:00
Это драйвер virtio для Windows версии v266? Асинхронный ввод-вывод через io_uring (по умолчанию)? Можешь создать SATA-vdisk, чтобы проверить, не зависает ли он тоже?
|
|
|
|
|
|
31.03.2025 14:45:00
Прости за поздний ответ, 1) да, v266 virtio драйвер, 2) да, default io_uring, 3) да, также с sata vdisk, зависал при высокой нагрузке ввода/вывода, пока процесс не завершится.
|
||||
|
|
|
|||
Читают тему
