http://proxmox.su Новое в теме 10GbE кластерная сеть(и) – 3 узла без свитча форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 07 May 2026 07:37:58 +0300 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хорошо, но как я уже говорил, мой ceph.conf отличается от твоего, так как у меня настроены мониторы ceph на всех трёх хостах. Код:

[global]
        auth_client_required = cephx  
        auth_cluster_required = cephx  
        auth_service_required = cephx  
        cluster_network = 10.15.15.20/24  
        fsid = 67f4fe3d-5b5a-469a-80d3-bfae71eb1037  
        mon_allow_pool_delete = true  
        mon_host = 10.15.15.20 10.15.15.18 10.15.15.19  
        ms_bind_ipv4 = true  
        ms_bind_ipv6 = false  
        osd_pool_default_min_size = 2  
        osd_pool_default_size = 3  
        public_network = 10.15.15.20/24  

[client]
        keyring = /etc/pve/priv/$cluster.$name.keyring  

[mon.axiom1]
        public_addr = 10.15.15.18  

[mon.axiom2]
        public_addr = 10.15.15.19  

[mon.pve]
        public_addr = 10.15.15.20
26.01.2022 16:39:00, vesalius.]]> http://proxmox.su/forum/messages/forum63/message367615/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367615/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Wed, 26 Jan 2022 16:39:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я сделал всё по инструкции; скоро размещу отдельную тему в соответствующем форуме. Спасибо за поддержку.
26.01.2022 13:28:00, vobo70.]]> http://proxmox.su/forum/messages/forum63/message367614/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367614/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Wed, 26 Jan 2022 13:28:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Единственное отличие в моём ceph.conf — это то, что я поставил монитор на каждый из трёх mesh-узлов, а не только на один. Ты читал страницу Deploy Hyper-Converged Ceph Cluster? Там специально есть цитата, которая говорит, что настройка Ceph WebGUI — это только начало, а не всё, что нужно для полноценной работы.
23.01.2022 17:01:00, vesalius.]]> http://proxmox.su/forum/messages/forum63/message367613/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367613/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Sun, 23 Jan 2022 17:01:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я проверил все сетевые настройки, узлы были перезагружены, пинги между машинами работают. Я понимаю, что опять лезу с вопросом по сети, но проблема в том, что не могу запустить ceph. Во время установки ошибок не было; я делал всё точно по инструкции, но ceph выдает ошибку таймаута. Вот мой файл /etc/ceph/ceph.conf:

Код:

[global]
auth_client_required = cephx  
auth_cluster_required = cephx  
auth_service_required = cephx  
cluster network = 192.168.20.0/24  
fsid = 9f47e518-4613-4564-863b-e8d3a923a1f5  
mon_allow_pool_delete = true  
mon_host = 192.168.20.10  
ms_bind_ipv4 = true  
ms_bind_ipv6 = false  
osd_pool_default_min_size = 2  
osd_pool_default_size = 3  
public_network = 192.168.20.0/24  

[client]
keyring = /etc/pve/priv/$cluster.$name.keyring  

[mon.pve1]
public_addr = 192.168.20.10  

Стоит ли мне опубликовать это в другой ветке на правильном разделе форума?
22.01.2022 22:48:00, vobo70.]]> http://proxmox.su/forum/messages/forum63/message367612/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367612/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Sat, 22 Jan 2022 22:48:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Файлы здесь выглядят нормально. Ты трижды проверял, что эти три провода действительно соединяют pve1 enp1s0f0 с pve3 enp1s0f1, pve1 enp1s0f1 с pve2 enp1s0f0 и pve2 enp1s0f1 с pve3 enp1s0f0? Ты перезагружал машины или запускал ifreload -a, чтобы применить сетевую конфигурацию на каждом узле? В выводе ip a соответствующие интерфейсы full mesh отображаются как активные или нет? Можешь ли ты пропинговать 192.168.20.10, 192.168.20.20 и 192.168.20.30 с других машин? Только что понял, что в твоем первоначальном вопросе не было упоминания ceph, а позже ты спрашиваешь о нем. Ты просто пытаешься настроить кластер через эту сеть, развернуть ceph или и то, и другое?
22.01.2022 21:57:00, vesalius.]]> http://proxmox.su/forum/messages/forum63/message367611/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367611/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Sat, 22 Jan 2022 21:57:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вот, держи:

pve1:  
auto lo  
iface lo inet loopback  

iface eno1 inet manual  
       mtu 9000  

auto enp1s0f0  
iface enp1s0f0 inet static  
       address 192.168.20.10/24  
       mtu 9000  
       up ip route add 192.168.20.30/32 dev enp1s0f0  
       down ip route del 192.168.20.30/32  

auto enp1s0f1  
iface enp1s0f1 inet static  
       address 192.168.20.10/24  
       mtu 9000  
       up ip route add 192.168.20.20/32 dev enp1s0f1  
       down ip route del 192.168.20.20/32  

auto vmbr0  
iface vmbr0 inet static  
       address 192.168.10.11/24  
       gateway 192.168.10.1  
       bridge-ports eno1  
       bridge-stp off  
       bridge-fd 0  
       mtu 9000  

pve2:  
auto lo  
iface lo inet loopback  

iface eno1 inet manual  
       mtu 9000  

auto enp1s0f0  
iface enp1s0f0 inet static  
       address 192.168.20.20/24  
       mtu 9000  
       up ip route add 192.168.20.10/32 dev enp1s0f0  
       down ip route del 192.168.20.10/32  

auto enp1s0f1  
iface enp1s0f1 inet static  
       address 192.168.20.20/24  
       mtu 9000  
       up ip route add 192.168.20.30/32 dev enp1s0f1  
       down ip route del 192.168.20.30/32  

auto vmbr0  
iface vmbr0 inet static  
       address 192.168.10.12/24  
       gateway 192.168.10.1  
       bridge-ports eno1  
       bridge-stp off  
       bridge-fd 0  
       mtu 9000  

pve3:  
auto lo  
iface lo inet loopback  

iface eno1 inet manual  
       mtu 9000  

auto enp1s0f0  
iface enp1s0f0 inet static  
       address 192.168.20.30/24  
       mtu 9000  
       up ip route add 192.168.20.20/32 dev enp1s0f0  
       down ip route del 192.168.20.20/32  

auto enp1s0f1  
iface enp1s0f1 inet static  
       address 192.168.20.30/24  
       mtu 9000  
       up ip route add 192.168.20.10/32 dev enp1s0f1  
       down ip route del 192.168.20.10/32  

auto vmbr0  
iface vmbr0 inet static  
       address 192.168.10.13/24  
       gateway 192.168.10.1  
       bridge-ports eno1  
       bridge-stp off  
       bridge-fd 0  
       mtu 9000
16.01.2022 23:01:00, vobo70.]]> http://proxmox.su/forum/messages/forum63/message367610/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367610/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Sun, 16 Jan 2022 23:01:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Опубликуйте соответствующие разделы из /etc/network/interfaces с каждого из этих узлов Ceph.
16.01.2022 21:40:00, vesalius.]]> http://proxmox.su/forum/messages/forum63/message367609/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367609/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Sun, 16 Jan 2022 21:40:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, второй вариант: https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server роутинг работает отлично, у меня настроен мост на 1GbE карте для внешнего доступа и двойные 10GbE для mesh-кластера на каждом узле. Всем картам задан MTU 9000. Но ceph выдаёт ошибку на каждом узле: root@pve2:~# pveceph status команда 'ceph -s' не выполнилась: время ожидания истекло. Искал решение, но безрезультатно. Кто-то может помочь? Или лучше создать новую тему? Заранее спасибо.
16.01.2022 11:10:00, vobo70.]]> http://proxmox.su/forum/messages/forum63/message367608/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367608/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Sun, 16 Jan 2022 11:10:00 +0300 Proxmox Виртуальная Среда 10GbE кластерная сеть(и) – 3 узла без свитча Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я сделал свежую установку для 3 узлов кластера с такой сетью: {
"lightbox_close": "Закрыть",
"lightbox_next": "Далее",
"lightbox_previous": "Назад",
"lightbox_error": "Запрашиваемый контент не может быть загружен. Пожалуйста, попробуйте позже.",
"lightbox_start_slideshow": "Запустить слайд-шоу",
"lightbox_stop_slideshow": "Остановить слайд-шоу",
"lightbox_full_screen": "На весь экран",
"lightbox_thumbnails": "Миниатюры",
"lightbox_download": "Скачать",
"lightbox_share": "Поделиться",
"lightbox_zoom": "Увеличить",
"lightbox_new_window": "Новое окно",
"lightbox_toggle_sidebar": "Переключить боковую панель"
} Есть ли вообще возможность настроить кластер? Если нет, что можно сделать, чтобы его настроить? Сейчас у каждого узла в файле hosts прописаны остальные два, и на уровне ОС связь работает нормально. Но при настройке кластера, похоже, узлы должны быть в одной сети... Я не слишком разбираюсь в маршрутизации Linux, но кажется, что без свитча в одной сети это невозможно. А 10GbE-свитч слишком дорог для моего домашнего лабораторного стенда, да и б/у сетевые карты жрут много энергии. С уважением, Maciek
14.12.2021 19:38:00, vobo70.]]> http://proxmox.su/forum/messages/forum63/message367607/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha http://proxmox.su/forum/messages/forum63/message367607/82514-10gbe-klasternaya-set_i_-_-3-uzla-bez-svitcha Tue, 14 Dec 2021 19:38:00 +0300 Proxmox Виртуальная Среда