+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Рекомендации по Ceph для гигабитной сети?, Proxmox Виртуальная Среда

Waschbüsch

Guest

22.12.2014 08:16:00

Всем привет! Сейчас у меня есть следующая схема: у меня работает кластер pve из трёх узлов. Каждый узел имеет два гигабитных сетевых интерфейса — один с публичным IP для управления и один на внутреннем коммутаторе с приватным IP. Так как публичные IP не в одной сети, кластер я создал, используя приватные IP. Внутренняя сеть также используется для монтирования NFS-шары. Пока что всё работает отлично.

Теперь хотелося бы узнать, есть ли смысл поставить ceph на этих трёх узлах? Учитывая, что сеть — всего лишь гигабитная, какую производительность можно ожидать? Даже если будет слишком медленно для запуска VM-образов (а я так и предполагаю), подойдёт ли это решение для резервного копирования? Нужно ли создавать отдельную (например, VLAN) сеть поверх существующей приватной LAN? Есть ли какие-то подводные камни, о которых стоит знать?

Большое спасибо,
Мартин

Norman Uittenbogaart

Guest

22.03.2015 11:20:00

У меня сейчас всё работает на 1 Gbit, но Proxmox показывает очень большие задержки ввода-вывода. (журнал на SSD) Пропускная способность примерно на максимуме 1 Gbit, но загрузка процессора и задержки ввода-вывода довольно высокие. Это нормально? Узлы — 2x Xeon E5335 с 32 ГБ оперативной памяти.

Waschbüsch Guest	#3 0 21.03.2015 06:52:00 Обновление: на случай, если кто-то интересовался — я в итоге использовал три Intel X540-T1 и Netgear XS708E, чтобы поднять всё до 10GbE. Работает просто супер!

Norman Uittenbogaart

Guest

22.03.2015 16:24:00

При мониторинге пропускной способности с помощью nload трафик Ceph никогда не достигает 1 Гбит (максимум примерно 600 Мбит). При этом с iPerf я спокойно достигаю 1 Гбит, так что с сетью на интерфейсе всё в порядке. Я также включил CephFS и смонтировал его через ceph-fuse для OpenVZ.

При работе с RBD, по результатам rados benchmark, я вижу скорость около 88 МБ/с, но иногда она падает до 0 МБ/с (бывают таймауты). Может быть, размер журнала на моём SSD слишком мал? Или на запись журнала уходит слишком много времени?

При проверке производительности CephFS через pveperf выдаёт всего 20 FSYNC... Задержка Apply на вкладке OSD в Proxmox показывает высокие значения в миллисекундах на узлах, использующих Ceph — свыше 300, иногда даже больше 1000.

Не очень понимаю, где копать для отладки, надеюсь, кто-то сможет прояснить ситуацию.

nethfel

Guest

22.03.2015 17:32:00

Вероятно, размер вашего журнала слишком мал, если при тестах на стенде вы получаете 0. По умолчанию размер журнала в базовой установке ceph на proxmox — 5 гигабайт. У меня лично были проблемы с таким маленьким журналом на объединённой сети, поэтому сейчас по умолчанию установил размер журнала 12 гигабайт, что, похоже, поддерживает пропускную способность на приемлемом уровне. Имейте также в виду, что если вы используете ceph через proxmox с одним гигабитным интерфейсом, вы делите этот интерфейс на большой трафик как для кластера, так и для клиентов, что снижает пропускную способность. Если сможете добавить дополнительный Ethernet и переключить кластерный трафик на него (оставив клиентский трафик на другом интерфейсе), то пропускная способность улучшится даже с ограничением одного гигабитного Ethernet.

Norman Uittenbogaart Guest	#6 0 22.03.2015 18:35:00 Извини, у меня действительно есть два гигабитных адаптера. Один используется для клиентов, а другой — для кластерной сети Ceph. Надо попробовать увеличить журнал. Пока что я попробую снизить целевой размер транзакций osd, может это что-то даст...

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры