http://proxmox.su Новое в теме Ceph, pve, гиперконвергентная сеть форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 05 Nov 2026 16:41:19 +0300 Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это очень полезно и логично, спасибо. По поводу моей точки зрения про "кластерную сеть" я просто хотел бы, чтобы документация и UI PVE более чётко различали, когда речь идёт об одном или другом.
20.06.2025 17:21:00, mtis.]]> http://proxmox.su/forum/messages/forum63/message313227/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313227/76109-ceph_-pve_-giperkonvergentnaya-set Fri, 20 Jun 2025 17:21:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Рекомендации по документации Ceph основаны на простоте развертывания и на том, что в чистом кластере Ceph будет несколько десятков или больше серверов, вносящих вклад в общую сетевую пропускную способность кластера. В типичном кластере PVE+Ceph обычно несколько узлов, и, соответственно, меньше общей сетевой пропускной способности кластера. Добавление пары объединенных каналов, выделенных для трафика репликации, имеет больше шансов улучшить производительность Ceph, поскольку оно может использовать больше каналов. Дело в том, что это "сеть кластера Ceph", а не "сеть кластера PVE". Фактически, даже если обе системы работают на одних и тех же хостах, это совершенно независимые кластеры со своим собственным управлением кворума (corosync против Ceph monitors), отсюда и использование каждой своей "сетевой кластера".
20.06.2025 13:04:00, VictorSTS.]]> http://proxmox.su/forum/messages/forum63/message313226/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313226/76109-ceph_-pve_-giperkonvergentnaya-set Fri, 20 Jun 2025 13:04:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мне тоже интересно ваше мнение по этому вопросу, потому что советы в документации Ceph и Proxmox иногда противоречат друг другу относительно разделения двух Ceph-сетей. Термин "сеть кластера" тоже сбивает с толку, ведь обычно он относится к Corosync, но в контексте Ceph он означает что-то другое.
20.06.2025 05:52:00, mtis.]]> http://proxmox.su/forum/messages/forum63/message313225/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313225/76109-ceph_-pve_-giperkonvergentnaya-set Fri, 20 Jun 2025 05:52:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В этой схеме есть единые точки отказа, и сейчас это считается приемлемым риском.
12.06.2025 12:51:00, davids01.]]> http://proxmox.su/forum/messages/forum63/message313224/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313224/76109-ceph_-pve_-giperkonvergentnaya-set Thu, 12 Jun 2025 12:51:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Немного от темы (может, я чего-то и не понимаю): Если вы используете один коммутатор, у вашего кластера будет очень низкая доступность, потому что этот коммутатор станет единой точкой отказа. То же самое касается и этого breakout-кабеля (SPF-кабели тоже могут выйти из строя).
12.06.2025 12:46:00, VictorSTS.]]> http://proxmox.su/forum/messages/forum63/message313223/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313223/76109-ceph_-pve_-giperkonvergentnaya-set Thu, 12 Jun 2025 12:46:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Надеюсь, достаточно понятно объяснил... видел такое объяснение где-то еще: Ceph Public network обязателен, и по нему проходит много трафика. Необязательная Ceph cluster network можно использовать, чтобы перенаправить трафик репликации между OSD по другому, чтобы распределить нагрузку. В моем случае я стремлюсь объединить их в одну Ceph Public network... если только вы не думаете, что есть веская причина не делать этого с моей вышеописанной конфигурацией — причина в стремлении упростить администрирование (для других, кто может подключиться) .. никаких других причин нет.. — я думал, что объединенные 2x25GbE порты справятся с этим без проблем.. но любые отзывы приветствуются, спасибо.
12.06.2025 11:56:00, davids01.]]> http://proxmox.su/forum/messages/forum63/message313222/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313222/76109-ceph_-pve_-giperkonvergentnaya-set Thu, 12 Jun 2025 11:56:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Три сервера Dell с 4x1.92ТБ SSD для Ceph RBD (хранилище образов VM) — коммутатор 1 - 1GbE OOB коммутатор (для corrosync и bmc/idracs) — коммутатор 2 - 100GbE коммутатор с breakout'ами (для Ceph внутри и также будет переносить трафик для 1x VM клиентской сети). Без избыточности коммутатора (без MLAG и т.д.), риск принят. 1x выделенная сеть для corrosync на 1GbE OOB коммутаторе (corrosync ring0). 2x 25GBit для Ceph (сейчас предлагаю, чтобы весь Ceph жил здесь) — предлагаю эти два порта на NIC-ах объединить в bond. Вопрос в том, должны ли эти объединенные порты нести Ceph Public+Cluster сеть или просто одну Ceph Public сеть (переносящую весь Ceph трафик внутри).

------

2x 25GBit порта предназначены для сетей, которые требуются VM для доступа… это не для Ceph… это для клиентского доступа… это будут отдельные физические подключения. 1x порт пойдет на 100GbE коммутатор и будет переноситься через switch uplink. Другой порт будет представлен fibre+SFP от NIC к совершенно другому коммутатору. Corrosync ring1 будет размещен на одном из двух VM портах клиентской сети с 2x25GbE и всего 4x SATA SSD на хост, думаю, этого будет достаточно для Ceph трафика, по крайней мере, для первоначального развертывания.
27.05.2025 12:21:00, davids01.]]> http://proxmox.su/forum/messages/forum63/message313221/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313221/76109-ceph_-pve_-giperkonvergentnaya-set Tue, 27 May 2025 12:21:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Чтобы немного усложнить ситуацию: сеть кластера Ceph необязательна и полезна, если вы хотите разместить трафик репликации (хранение 2-й и 3-й реплики на других хостах) в отдельной физической сети. В противном случае для этого также будет использоваться Ceph Public network, как она используется для всего трафика Ceph-клиентов (например, для виртуальных машин). Поэтому я стараюсь сделать понятным, о какой именно сети кластера я говорю, явно указывая, имею ли я в виду PVE/Corosync сеть кластера или Ceph Public/Cluster network. Спасибо за обратную связь. Я учту это при работе над документацией/GUI. В некоторых ситуациях это должно быть достаточно понятно из контекста. Например, в начальном Ceph-мастере конфигурации, если Ceph устанавливается на первый узел через GUI.
20.06.2025 17:32:00, aaron.]]> http://proxmox.su/forum/messages/forum63/message313220/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313220/76109-ceph_-pve_-giperkonvergentnaya-set Fri, 20 Jun 2025 17:32:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не уверен, правильно ли я тебя понял:
- Два порта на 1 Gbit для corosync redundancy
- Два порта на 25 Gbit для ceph (приватная или публичная сеть?)
- Два порта на 25 Gbit для vm networking

Это верно? Согласен с LnxBil, что твоя сеть может стать узким местом, и тебе стоит разделить приватную и публичную Ceph-сеть. Смотри https://pve.proxmox.com/wiki/Deploy...r#_recommendations_for_a_healthy_ceph_cluster и https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server
27.05.2025 12:04:00, Johannes S.]]> http://proxmox.su/forum/messages/forum63/message313219/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313219/76109-ceph_-pve_-giperkonvergentnaya-set Tue, 27 May 2025 12:04:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Буду рад любым дополнительным комментариям, спасибо.
27.05.2025 11:30:00, davids01.]]> http://proxmox.su/forum/messages/forum63/message313218/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313218/76109-ceph_-pve_-giperkonvergentnaya-set Tue, 27 May 2025 11:30:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ой, извини… Я имела в виду единую сеть Ceph-public (без отдельной сети кластера Ceph), используя приватные IP-адреса в изолированном Layer2 VLAN, мне кажется, установка PVE по умолчанию будет что-то вроде 10.10.10.0 с единой сетью Ceph. SSD - SATA.
15.05.2025 13:26:00, davids01.]]> http://proxmox.su/forum/messages/forum63/message313217/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313217/76109-ceph_-pve_-giperkonvergentnaya-set Thu, 15 May 2025 13:26:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты прямо указал на частную сеть CEPH, но где будет твоя публичная сеть Ceph? Кстати, в зависимости от SSD, 25 Гбит может стать узким местом. Один PCIe 3.0 NVMe обойдёт твою 25-гигабитную линию по скорости.
15.05.2025 13:15:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message313216/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313216/76109-ceph_-pve_-giperkonvergentnaya-set Thu, 15 May 2025 13:15:00 +0300 Proxmox Виртуальная Среда Ceph, pve, гиперконвергентная сеть Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Документация Ceph предлагает использовать одну сетевую сеть для кластера. https://docs.ceph.com/en/squid/rados/configuration/network-config-ref/ При этом Proxmox советует их разделять — что имеет смысл, если сомневаешься. И я предполагаю, что это предлагается из-за ситуаций, когда возможности оборудования/сетевых карт различаются. Например, сеть для общего доступа и кластерная сеть могут не работать на одинаково мощных интерфейсах. https://pve.proxmox.com/pve-docs/chapter-pveceph.html Просто хотел убедиться, что это имеет смысл для моей конфигурации: 3 сервера Dell с 4x1.92TB SSD для Ceph, 4-портовая 25GbE, 2-портовая 1GbE:

- отдельная выделенная кольцевая сеть Corrosync ring0 на 1GbE медном OOB-коммутаторе;
- 2x25GbE порта, выделенные для Ceph* приватной сети;
- выделенная сеть на 100GbE коммутаторе с breakout-портами;
- порты 3 и 4 на этих 4-портовых сетевых картах серверов будут использоваться для других сетей, необходимых для доступа к виртуальным машинам (не Ceph).
- Corrosync ring1 либо на порту 3, либо на порту 4, предстоит определить.
* эти два порта будут объединены с помощью LACP и будут нести одну Ceph-сеть.

Просто пытаюсь выяснить, будет ли это правильным шагом — использовать одну Ceph-сеть на 2x25GbE портах. Так как порты имеют одинаковые возможности, я думал, нет необходимости разделять публичную и кластерную Ceph-сети. Поскольку Corrosync отделена от Ceph, и я считаю, что LACP оказывает минимальное влияние на задержку, я склоняюсь к этому подходу для простоты.

Спасибо!
15.05.2025 08:35:00, davids01.]]> http://proxmox.su/forum/messages/forum63/message313215/76109-ceph_-pve_-giperkonvergentnaya-set http://proxmox.su/forum/messages/forum63/message313215/76109-ceph_-pve_-giperkonvergentnaya-set Thu, 15 May 2025 08:35:00 +0300 Proxmox Виртуальная Среда