Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Ceph, pve, гиперконвергентная сеть

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Ceph, pve, гиперконвергентная сеть, Proxmox Виртуальная Среда
     
    davids01
    Guest
    #1
    0
    15.05.2025 08:35:00
    Привет! Документация Ceph предлагает использовать одну сетевую сеть для кластера. https://docs.ceph.com/en/squid/rados/configuration/network-config-ref/ При этом Proxmox советует их разделять — что имеет смысл, если сомневаешься. И я предполагаю, что это предлагается из-за ситуаций, когда возможности оборудования/сетевых карт различаются. Например, сеть для общего доступа и кластерная сеть могут не работать на одинаково мощных интерфейсах. https://pve.proxmox.com/pve-docs/chapter-pveceph.html Просто хотел убедиться, что это имеет смысл для моей конфигурации: 3 сервера Dell с 4x1.92TB SSD для Ceph, 4-портовая 25GbE, 2-портовая 1GbE:

    - отдельная выделенная кольцевая сеть Corrosync ring0 на 1GbE медном OOB-коммутаторе;
    - 2x25GbE порта, выделенные для Ceph* приватной сети;
    - выделенная сеть на 100GbE коммутаторе с breakout-портами;
    - порты 3 и 4 на этих 4-портовых сетевых картах серверов будут использоваться для других сетей, необходимых для доступа к виртуальным машинам (не Ceph).
    - Corrosync ring1 либо на порту 3, либо на порту 4, предстоит определить.
    * эти два порта будут объединены с помощью LACP и будут нести одну Ceph-сеть.

    Просто пытаюсь выяснить, будет ли это правильным шагом — использовать одну Ceph-сеть на 2x25GbE портах. Так как порты имеют одинаковые возможности, я думал, нет необходимости разделять публичную и кластерную Ceph-сети. Поскольку Corrosync отделена от Ceph, и я считаю, что LACP оказывает минимальное влияние на задержку, я склоняюсь к этому подходу для простоты.

    Спасибо!
     
     
     
    LnxBil
    Guest
    #2
    0
    15.05.2025 13:15:00
    Ты прямо указал на частную сеть CEPH, но где будет твоя публичная сеть Ceph? Кстати, в зависимости от SSD, 25 Гбит может стать узким местом. Один PCIe 3.0 NVMe обойдёт твою 25-гигабитную линию по скорости.
     
     
     
    davids01
    Guest
    #3
    0
    15.05.2025 13:26:00
    Ой, извини… Я имела в виду единую сеть Ceph-public (без отдельной сети кластера Ceph), используя приватные IP-адреса в изолированном Layer2 VLAN, мне кажется, установка PVE по умолчанию будет что-то вроде 10.10.10.0 с единой сетью Ceph. SSD - SATA.
     
     
     
    davids01
    Guest
    #4
    0
    27.05.2025 11:30:00
    Буду рад любым дополнительным комментариям, спасибо.
     
     
     
    Johannes S
    Guest
    #5
    0
    27.05.2025 12:04:00
    Не уверен, правильно ли я тебя понял:
    - Два порта на 1 Gbit для corosync redundancy
    - Два порта на 25 Gbit для ceph (приватная или публичная сеть?)
    - Два порта на 25 Gbit для vm networking

    Это верно? Согласен с LnxBil, что твоя сеть может стать узким местом, и тебе стоит разделить приватную и публичную Ceph-сеть. Смотри https://pve.proxmox.com/wiki/Deploy...r#_recommendations_for_a_healthy_ceph_cluster и https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server
     
     
     
    aaron
    Guest
    #6
    0
    20.06.2025 17:32:00
    Чтобы немного усложнить ситуацию: сеть кластера Ceph необязательна и полезна, если вы хотите разместить трафик репликации (хранение 2-й и 3-й реплики на других хостах) в отдельной физической сети. В противном случае для этого также будет использоваться Ceph Public network, как она используется для всего трафика Ceph-клиентов (например, для виртуальных машин). Поэтому я стараюсь сделать понятным, о какой именно сети кластера я говорю, явно указывая, имею ли я в виду PVE/Corosync сеть кластера или Ceph Public/Cluster network. Спасибо за обратную связь. Я учту это при работе над документацией/GUI. В некоторых ситуациях это должно быть достаточно понятно из контекста. Например, в начальном Ceph-мастере конфигурации, если Ceph устанавливается на первый узел через GUI.
     
     
     
    davids01
    Guest
    #7
    0
    27.05.2025 12:21:00
    Три сервера Dell с 4x1.92ТБ SSD для Ceph RBD (хранилище образов VM) — коммутатор 1 - 1GbE OOB коммутатор (для corrosync и bmc/idracs) — коммутатор 2 - 100GbE коммутатор с breakout'ами (для Ceph внутри и также будет переносить трафик для 1x VM клиентской сети). Без избыточности коммутатора (без MLAG и т.д.), риск принят. 1x выделенная сеть для corrosync на 1GbE OOB коммутаторе (corrosync ring0). 2x 25GBit для Ceph (сейчас предлагаю, чтобы весь Ceph жил здесь) — предлагаю эти два порта на NIC-ах объединить в bond. Вопрос в том, должны ли эти объединенные порты нести Ceph Public+Cluster сеть или просто одну Ceph Public сеть (переносящую весь Ceph трафик внутри).

    ------

    2x 25GBit порта предназначены для сетей, которые требуются VM для доступа… это не для Ceph… это для клиентского доступа… это будут отдельные физические подключения. 1x порт пойдет на 100GbE коммутатор и будет переноситься через switch uplink. Другой порт будет представлен fibre+SFP от NIC к совершенно другому коммутатору. Corrosync ring1 будет размещен на одном из двух VM портах клиентской сети с 2x25GbE и всего 4x SATA SSD на хост, думаю, этого будет достаточно для Ceph трафика, по крайней мере, для первоначального развертывания.
     
     
     
    davids01
    Guest
    #8
    0
    12.06.2025 11:56:00
    Надеюсь, достаточно понятно объяснил... видел такое объяснение где-то еще: Ceph Public network обязателен, и по нему проходит много трафика. Необязательная Ceph cluster network можно использовать, чтобы перенаправить трафик репликации между OSD по другому, чтобы распределить нагрузку. В моем случае я стремлюсь объединить их в одну Ceph Public network... если только вы не думаете, что есть веская причина не делать этого с моей вышеописанной конфигурацией — причина в стремлении упростить администрирование (для других, кто может подключиться) .. никаких других причин нет.. — я думал, что объединенные 2x25GbE порты справятся с этим без проблем.. но любые отзывы приветствуются, спасибо.
     
     
     
    VictorSTS
    Guest
    #9
    0
    12.06.2025 12:46:00
    Немного от темы (может, я чего-то и не понимаю): Если вы используете один коммутатор, у вашего кластера будет очень низкая доступность, потому что этот коммутатор станет единой точкой отказа. То же самое касается и этого breakout-кабеля (SPF-кабели тоже могут выйти из строя).
     
     
     
    davids01
    Guest
    #10
    0
    12.06.2025 12:51:00
    В этой схеме есть единые точки отказа, и сейчас это считается приемлемым риском.
     
     
     
    mtis
    Guest
    #11
    0
    20.06.2025 05:52:00
    Мне тоже интересно ваше мнение по этому вопросу, потому что советы в документации Ceph и Proxmox иногда противоречат друг другу относительно разделения двух Ceph-сетей. Термин "сеть кластера" тоже сбивает с толку, ведь обычно он относится к Corosync, но в контексте Ceph он означает что-то другое.
     
     
     
    VictorSTS
    Guest
    #12
    0
    20.06.2025 13:04:00
    Рекомендации по документации Ceph основаны на простоте развертывания и на том, что в чистом кластере Ceph будет несколько десятков или больше серверов, вносящих вклад в общую сетевую пропускную способность кластера. В типичном кластере PVE+Ceph обычно несколько узлов, и, соответственно, меньше общей сетевой пропускной способности кластера. Добавление пары объединенных каналов, выделенных для трафика репликации, имеет больше шансов улучшить производительность Ceph, поскольку оно может использовать больше каналов. Дело в том, что это "сеть кластера Ceph", а не "сеть кластера PVE". Фактически, даже если обе системы работают на одних и тех же хостах, это совершенно независимые кластеры со своим собственным управлением кворума (corosync против Ceph monitors), отсюда и использование каждой своей "сетевой кластера".
     
     
     
    mtis
    Guest
    #13
    0
    20.06.2025 17:21:00
    Это очень полезно и логично, спасибо. По поводу моей точки зрения про "кластерную сеть" я просто хотел бы, чтобы документация и UI PVE более чётко различали, когда речь идёт об одном или другом.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры