Мы работаем с небольшой Proxmox-средой из 3 узлов и mesh-сетью. Все сервера имеют:
- 2x 10Гбит медных в mesh для сети кластера Ceph
- 2x 1Гбит медных в mesh (corosync)
- 2x 1Гбит свободных для внешней сети клиентов
- 2x 10Гбит SFP+, пока не используются (возможно, будут задействованы для трафика ВМ и публичной подсети Ceph, но сначала тестируем с 2 свободными 1Гбит-интерфейсами).
Я уже воспользовался — маршрутизацией с резервным вариантом. Могу пинговать все узлы через mesh, но Proxmox, похоже, полностью игнорирует эту mesh, так как здесь нет «интерфейсов». Поэтому создание кластера терпит неудачу, так как Proxmox и corosync не знают о mesh. Конечно, можно вернуться к варианту с RSTP, но тогда трафик через один из узлов увеличивается вдвое при проходе к третьему.
Да, мы понимаем, что запускать Proxmox и Ceph на одних и тех же серверах неидеально, но это всего лишь для двух Windows-сред с минимальным трафиком. Все три сервера имеют по 2x 500 ГБ SSD на ZFS в Raid1 и 3x 1 ТБ SSD под Ceph OSD, а также приличный запас по CPU и памяти.
Есть кто-нибудь, кто может помочь с правильными методами настройки mesh-сети?
- 2x 10Гбит медных в mesh для сети кластера Ceph
- 2x 1Гбит медных в mesh (corosync)
- 2x 1Гбит свободных для внешней сети клиентов
- 2x 10Гбит SFP+, пока не используются (возможно, будут задействованы для трафика ВМ и публичной подсети Ceph, но сначала тестируем с 2 свободными 1Гбит-интерфейсами).
Я уже воспользовался — маршрутизацией с резервным вариантом. Могу пинговать все узлы через mesh, но Proxmox, похоже, полностью игнорирует эту mesh, так как здесь нет «интерфейсов». Поэтому создание кластера терпит неудачу, так как Proxmox и corosync не знают о mesh. Конечно, можно вернуться к варианту с RSTP, но тогда трафик через один из узлов увеличивается вдвое при проходе к третьему.
Да, мы понимаем, что запускать Proxmox и Ceph на одних и тех же серверах неидеально, но это всего лишь для двух Windows-сред с минимальным трафиком. Все три сервера имеют по 2x 500 ГБ SSD на ZFS в Raid1 и 3x 1 ТБ SSD под Ceph OSD, а также приличный запас по CPU и памяти.
Есть кто-нибудь, кто может помочь с правильными методами настройки mesh-сети?
