http://proxmox.su Новое в теме Рекомендации по Ceph для гигабитной сети? форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 04 Jun 2026 17:24:41 +0300 Рекомендации по Ceph для гигабитной сети? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Извини, у меня действительно есть два гигабитных адаптера. Один используется для клиентов, а другой — для кластерной сети Ceph. Надо попробовать увеличить журнал. Пока что я попробую снизить целевой размер транзакций osd, может это что-то даст...
22.03.2015 18:35:00, Norman Uittenbogaart.]]> http://proxmox.su/forum/messages/forum63/message354829/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti http://proxmox.su/forum/messages/forum63/message354829/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti Sun, 22 Mar 2015 18:35:00 +0300 Proxmox Виртуальная Среда Рекомендации по Ceph для гигабитной сети? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вероятно, размер вашего журнала слишком мал, если при тестах на стенде вы получаете 0. По умолчанию размер журнала в базовой установке ceph на proxmox — 5 гигабайт. У меня лично были проблемы с таким маленьким журналом на объединённой сети, поэтому сейчас по умолчанию установил размер журнала 12 гигабайт, что, похоже, поддерживает пропускную способность на приемлемом уровне. Имейте также в виду, что если вы используете ceph через proxmox с одним гигабитным интерфейсом, вы делите этот интерфейс на большой трафик как для кластера, так и для клиентов, что снижает пропускную способность. Если сможете добавить дополнительный Ethernet и переключить кластерный трафик на него (оставив клиентский трафик на другом интерфейсе), то пропускная способность улучшится даже с ограничением одного гигабитного Ethernet.
22.03.2015 17:32:00, nethfel.]]> http://proxmox.su/forum/messages/forum63/message354828/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti http://proxmox.su/forum/messages/forum63/message354828/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti Sun, 22 Mar 2015 17:32:00 +0300 Proxmox Виртуальная Среда Рекомендации по Ceph для гигабитной сети? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
При мониторинге пропускной способности с помощью nload трафик Ceph никогда не достигает 1 Гбит (максимум примерно 600 Мбит). При этом с iPerf я спокойно достигаю 1 Гбит, так что с сетью на интерфейсе всё в порядке. Я также включил CephFS и смонтировал его через ceph-fuse для OpenVZ.

При работе с RBD, по результатам rados benchmark, я вижу скорость около 88 МБ/с, но иногда она падает до 0 МБ/с (бывают таймауты). Может быть, размер журнала на моём SSD слишком мал? Или на запись журнала уходит слишком много времени?

При проверке производительности CephFS через pveperf выдаёт всего 20 FSYNC... Задержка Apply на вкладке OSD в Proxmox показывает высокие значения в миллисекундах на узлах, использующих Ceph — свыше 300, иногда даже больше 1000.

Не очень понимаю, где копать для отладки, надеюсь, кто-то сможет прояснить ситуацию.
22.03.2015 16:24:00, Norman Uittenbogaart.]]> http://proxmox.su/forum/messages/forum63/message354827/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti http://proxmox.su/forum/messages/forum63/message354827/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti Sun, 22 Mar 2015 16:24:00 +0300 Proxmox Виртуальная Среда Рекомендации по Ceph для гигабитной сети? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Обновление: на случай, если кто-то интересовался — я в итоге использовал три Intel X540-T1 и Netgear XS708E, чтобы поднять всё до 10GbE. Работает просто супер!
21.03.2015 06:52:00, Waschbüsch.]]> http://proxmox.su/forum/messages/forum63/message354826/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti http://proxmox.su/forum/messages/forum63/message354826/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti Sat, 21 Mar 2015 06:52:00 +0300 Proxmox Виртуальная Среда Рекомендации по Ceph для гигабитной сети? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня сейчас всё работает на 1 Gbit, но Proxmox показывает очень большие задержки ввода-вывода. (журнал на SSD) Пропускная способность примерно на максимуме 1 Gbit, но загрузка процессора и задержки ввода-вывода довольно высокие. Это нормально? Узлы — 2x Xeon E5335 с 32 ГБ оперативной памяти.
22.03.2015 11:20:00, Norman Uittenbogaart.]]> http://proxmox.su/forum/messages/forum63/message354825/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti http://proxmox.su/forum/messages/forum63/message354825/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti Sun, 22 Mar 2015 11:20:00 +0300 Proxmox Виртуальная Среда Рекомендации по Ceph для гигабитной сети? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Сейчас у меня есть следующая схема: у меня работает кластер pve из трёх узлов. Каждый узел имеет два гигабитных сетевых интерфейса — один с публичным IP для управления и один на внутреннем коммутаторе с приватным IP. Так как публичные IP не в одной сети, кластер я создал, используя приватные IP. Внутренняя сеть также используется для монтирования NFS-шары. Пока что всё работает отлично.

Теперь хотелося бы узнать, есть ли смысл поставить ceph на этих трёх узлах? Учитывая, что сеть — всего лишь гигабитная, какую производительность можно ожидать? Даже если будет слишком медленно для запуска VM-образов (а я так и предполагаю), подойдёт ли это решение для резервного копирования? Нужно ли создавать отдельную (например, VLAN) сеть поверх существующей приватной LAN? Есть ли какие-то подводные камни, о которых стоит знать?

Большое спасибо,  
Мартин
22.12.2014 08:16:00, Waschbüsch.]]> http://proxmox.su/forum/messages/forum63/message354824/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti http://proxmox.su/forum/messages/forum63/message354824/81180-rekomendatsii-po-ceph-dlya-gigabitnoy-seti Mon, 22 Dec 2014 08:16:00 +0300 Proxmox Виртуальная Среда