http://proxmox.su Новое в теме Путаюсь с разными сетями для Ceph и Proxmox. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 02 May 2026 17:00:42 +0300 Путаюсь с разными сетями для Ceph и Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Я пытаюсь установить кластер Proxmox с сетевым коммутатором и тремя узлами, каждый из которых имеет 4 сетевых карты/4 интерфейса/8 портов. Я создал три отдельные сети: одна с доступом в интернет (1 порт), одна для управления corosync (объединение 3 портов) и одна для ceph (объединение 4 портов). Сейчас я застрял на этапе управления ceph и не могу найти никаких инструкций по организации ceph. Кто может показать, как правильно это сделать? К скриншоту с реализацией сети прилагается файл. И есть ли какая-то ошибка в конфигурации сети? С уважением, Bahadır
25.06.2021 00:08:00, beozan.]]> http://proxmox.su/forum/messages/forum63/message368238/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. http://proxmox.su/forum/messages/forum63/message368238/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. Fri, 25 Jun 2021 00:08:00 +0300 Proxmox Виртуальная Среда Путаюсь с разными сетями для Ceph и Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это можно сделать для гибкости. При достаточной пропускной способности публичная и кластерная сеть Ceph могут использовать один и тот же NIC-порт, разделённый только VLAN. Обычно смена кластерной сети Ceph — не проблема, но с публичной сетью всё иначе.
11.01.2021 16:36:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message368237/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. http://proxmox.su/forum/messages/forum63/message368237/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. Mon, 11 Jan 2021 16:36:00 +0300 Proxmox Виртуальная Среда Путаюсь с разными сетями для Ceph и Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я понимаю, что это старая тема, но ты имеешь в виду, что у них один интерфейс для приватного и публичного трафика Ceph? Ты разделяешь каждый из них в своей подсети?
09.01.2021 14:23:00, benoitc.]]> http://proxmox.su/forum/messages/forum63/message368236/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. http://proxmox.su/forum/messages/forum63/message368236/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. Sat, 09 Jan 2021 14:23:00 +0300 Proxmox Виртуальная Среда Путаюсь с разными сетями для Ceph и Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Теперь можно использовать до восьми ссылок с разным приоритетом. Я бы предложил выделить одну отдельную сеть для кластера — имею в виду, что по ней может идти какой-то трафик, но не IO-трафик (ceph, nfs и прочее). Лучше иметь сеть на 100 Мбит/с, выделенную исключительно для кластерного трафика, чем 40 Гбит/с, которую делят с приватным трафиком ceph; для кластерного трафика важна задержка, а не пропускная способность. Затем я бы добавил все остальные сети в качестве резервных, при этом чем больше там IO-трафика, тем ниже у них приоритет. Звучит нормально, но многое зависит от остального железа, например, сколько данных могут обрабатывать диски OSD. Если у вас много SSD или даже быстрых NVMe на узел, то все равно могут возникать проблемы — учитывайте, что каждый объект нужно записывать три раза для обеспечения избыточности. Но, на мой взгляд, такая настройка сети вполне соответствует верхним пределам производительности.
13.05.2020 09:11:00, t.lamprecht.]]> http://proxmox.su/forum/messages/forum63/message368235/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. http://proxmox.su/forum/messages/forum63/message368235/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. Wed, 13 May 2020 09:11:00 +0300 Proxmox Виртуальная Среда Путаюсь с разными сетями для Ceph и Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Итак, в идеальной конфигурации нужен был бы 1 сеть для ceph public, 1 сеть для ceph private (кластер ceph), 1 или 2 сети для кластера proxmox (corosync), 1 сеть для доступа и управления ВМ (можно использовать её как второе кольцо для кластера proxmox). Для каждой сети нужен комплект из двух коммутаторов для резервирования или один коммутатор с настроенным VLAN, чтобы покрыть всё вышеперечисленное.

Я планирую строить ceph на 5 узлах с proxmox corosync в mesh по 1Gb QUAD NIC, ceph pub/priv в mesh по 25Gb QUAD NIC и доступ к ВМ (также используемый как второе кольцо для proxmox coro) по 25Gb NIC, подключённому к резервным 25Gb коммутаторам. Мы не планируем расширяться больше 5 узлов в ближайшее время и выбрали mesh-конфигурацию.

Реально ли объединить ceph pub и priv в одну сеть (mesh)? Надеюсь, что прямые подключения по 25Gb не вызовут проблем при репликации или ребалансировке.
13.05.2020 08:42:00, yaboc.]]> http://proxmox.su/forum/messages/forum63/message368234/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. http://proxmox.su/forum/messages/forum63/message368234/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. Wed, 13 May 2020 08:42:00 +0300 Proxmox Виртуальная Среда Путаюсь с разными сетями для Ceph и Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я изучаю использование Proxmox и Ceph в HA-кластере. Меня несколько сбивает с толку вопрос с разными сетями, их требованиями к пропускной способности и типами трафика, которые через них проходят, а также какие сети лучше держать раздельно, а какие обычно объединяют в одном сетевом интерфейсе. Большинство инструкций и обсуждений, которые я нахожу, рассматривают сети Proxmox и Ceph по отдельности. Но мне сложно понять, как всё это работает в интегрированной среде и где их функции пересекаются.

Думаю собрать 3-узловой HA-кластер Proxmox+Ceph. Насколько я понял:

Ceph требует:

- Heartbeat — это то же самое, что corosync? Или это другое? Нужно ли его выделять в отдельную сеть?
- Private — используется для синхронизации Ceph OSD. К виртуальным машинам Proxmox к этой сети доступа нет? Предпочтительно 10GbE.
- Public — где виртуальные машины Proxmox обращаются к своему локальному хранилищу. Эта сеть вообще используется, если VM работают на тех же серверах, что и OSD? Это та же локальная сеть? Там же находится UI Proxmox? Какая здесь нужна пропускная способность?

Proxmox Cluster:

- Corosync — низкая задержка, низкая пропускная способность, желательно с резервированием.
- LAN с VLAN — «обычная» локальная сеть с VLAN'ами для отделения отдельных ВМ. Именно по ней общаются между собой ВМ? Высокая пропускная способность?
- Proxmox UI — скорее всего, на LAN с VLAN, на VLAN управления?

Значит, в идеале получается 5–6 сетевых интерфейсов? И каждый дублирован для отказоустойчивости? Это кажется слишком много.

Извините, если немного запутанно, просто меня всё это похожее, но разное сбивает с толку. Когда я читаю документацию Ceph, всё равно не понимаю, как это всё интегрируется с Proxmox и наоборот.
26.09.2019 17:05:00, topquark.]]> http://proxmox.su/forum/messages/forum63/message368233/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. http://proxmox.su/forum/messages/forum63/message368233/82583-putayus-s-raznymi-setyami-dlya-ceph-i-proxmox. Thu, 26 Sep 2019 17:05:00 +0300 Proxmox Виртуальная Среда