+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

10GbE кластерная сеть(и) – 3 узла без свитча, Proxmox Виртуальная Среда

vobo70

Guest

14.12.2021 19:38:00

Привет, я сделал свежую установку для 3 узлов кластера с такой сетью: {
"lightbox_close": "Закрыть",
"lightbox_next": "Далее",
"lightbox_previous": "Назад",
"lightbox_error": "Запрашиваемый контент не может быть загружен. Пожалуйста, попробуйте позже.",
"lightbox_start_slideshow": "Запустить слайд-шоу",
"lightbox_stop_slideshow": "Остановить слайд-шоу",
"lightbox_full_screen": "На весь экран",
"lightbox_thumbnails": "Миниатюры",
"lightbox_download": "Скачать",
"lightbox_share": "Поделиться",
"lightbox_zoom": "Увеличить",
"lightbox_new_window": "Новое окно",
"lightbox_toggle_sidebar": "Переключить боковую панель"
} Есть ли вообще возможность настроить кластер? Если нет, что можно сделать, чтобы его настроить? Сейчас у каждого узла в файле hosts прописаны остальные два, и на уровне ОС связь работает нормально. Но при настройке кластера, похоже, узлы должны быть в одной сети... Я не слишком разбираюсь в маршрутизации Linux, но кажется, что без свитча в одной сети это невозможно. А 10GbE-свитч слишком дорог для моего домашнего лабораторного стенда, да и б/у сетевые карты жрут много энергии. С уважением, Maciek

vobo70

Guest

16.01.2022 11:10:00

Окей, второй вариант: https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server роутинг работает отлично, у меня настроен мост на 1GbE карте для внешнего доступа и двойные 10GbE для mesh-кластера на каждом узле. Всем картам задан MTU 9000. Но ceph выдаёт ошибку на каждом узле: root@pve2:~# pveceph status команда 'ceph -s' не выполнилась: время ожидания истекло. Искал решение, но безрезультатно. Кто-то может помочь? Или лучше создать новую тему? Заранее спасибо.

vesalius Guest	#3 0 16.01.2022 21:40:00 Опубликуйте соответствующие разделы из /etc/network/interfaces с каждого из этих узлов Ceph.

vobo70

Guest

16.01.2022 23:01:00

Вот, держи:

pve1:
auto lo
iface lo inet loopback

iface eno1 inet manual
mtu 9000

auto enp1s0f0
iface enp1s0f0 inet static
address 192.168.20.10/24
mtu 9000
up ip route add 192.168.20.30/32 dev enp1s0f0
down ip route del 192.168.20.30/32

auto enp1s0f1
iface enp1s0f1 inet static
address 192.168.20.10/24
mtu 9000
up ip route add 192.168.20.20/32 dev enp1s0f1
down ip route del 192.168.20.20/32

auto vmbr0
iface vmbr0 inet static
address 192.168.10.11/24
gateway 192.168.10.1
bridge-ports eno1
bridge-stp off
bridge-fd 0
mtu 9000

pve2:
auto lo
iface lo inet loopback

iface eno1 inet manual
mtu 9000

auto enp1s0f0
iface enp1s0f0 inet static
address 192.168.20.20/24
mtu 9000
up ip route add 192.168.20.10/32 dev enp1s0f0
down ip route del 192.168.20.10/32

auto enp1s0f1
iface enp1s0f1 inet static
address 192.168.20.20/24
mtu 9000
up ip route add 192.168.20.30/32 dev enp1s0f1
down ip route del 192.168.20.30/32

auto vmbr0
iface vmbr0 inet static
address 192.168.10.12/24
gateway 192.168.10.1
bridge-ports eno1
bridge-stp off
bridge-fd 0
mtu 9000

pve3:
auto lo
iface lo inet loopback

iface eno1 inet manual
mtu 9000

auto enp1s0f0
iface enp1s0f0 inet static
address 192.168.20.30/24
mtu 9000
up ip route add 192.168.20.20/32 dev enp1s0f0
down ip route del 192.168.20.20/32

auto enp1s0f1
iface enp1s0f1 inet static
address 192.168.20.30/24
mtu 9000
up ip route add 192.168.20.10/32 dev enp1s0f1
down ip route del 192.168.20.10/32

auto vmbr0
iface vmbr0 inet static
address 192.168.10.13/24
gateway 192.168.10.1
bridge-ports eno1
bridge-stp off
bridge-fd 0
mtu 9000

vesalius

Guest

22.01.2022 21:57:00

Файлы здесь выглядят нормально. Ты трижды проверял, что эти три провода действительно соединяют pve1 enp1s0f0 с pve3 enp1s0f1, pve1 enp1s0f1 с pve2 enp1s0f0 и pve2 enp1s0f1 с pve3 enp1s0f0? Ты перезагружал машины или запускал ifreload -a, чтобы применить сетевую конфигурацию на каждом узле? В выводе ip a соответствующие интерфейсы full mesh отображаются как активные или нет? Можешь ли ты пропинговать 192.168.20.10, 192.168.20.20 и 192.168.20.30 с других машин? Только что понял, что в твоем первоначальном вопросе не было упоминания ceph, а позже ты спрашиваешь о нем. Ты просто пытаешься настроить кластер через эту сеть, развернуть ceph или и то, и другое?

vobo70

Guest

22.01.2022 22:48:00

Я проверил все сетевые настройки, узлы были перезагружены, пинги между машинами работают. Я понимаю, что опять лезу с вопросом по сети, но проблема в том, что не могу запустить ceph. Во время установки ошибок не было; я делал всё точно по инструкции, но ceph выдает ошибку таймаута. Вот мой файл /etc/ceph/ceph.conf:

Код:

[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 192.168.20.0/24
fsid = 9f47e518-4613-4564-863b-e8d3a923a1f5
mon_allow_pool_delete = true
mon_host = 192.168.20.10
ms_bind_ipv4 = true
ms_bind_ipv6 = false
osd_pool_default_min_size = 2
osd_pool_default_size = 3
public_network = 192.168.20.0/24

[client]
keyring = /etc/pve/priv/$cluster.$name.keyring

[mon.pve1]
public_addr = 192.168.20.10

Стоит ли мне опубликовать это в другой ветке на правильном разделе форума?

vesalius

Guest

23.01.2022 17:01:00

Единственное отличие в моём ceph.conf — это то, что я поставил монитор на каждый из трёх mesh-узлов, а не только на один. Ты читал страницу Deploy Hyper-Converged Ceph Cluster? Там специально есть цитата, которая говорит, что настройка Ceph WebGUI — это только начало, а не всё, что нужно для полноценной работы.

vobo70 Guest	#8 0 26.01.2022 13:28:00 Я сделал всё по инструкции; скоро размещу отдельную тему в соответствующем форуме. Спасибо за поддержку.

vesalius Guest	#9 0 26.01.2022 16:39:00 Хорошо, но как я уже говорил, мой ceph.conf отличается от твоего, так как у меня настроены мониторы ceph на всех трёх хостах. Код: [global] auth_client_required = cephx auth_cluster_required = cephx auth_service_required = cephx cluster_network = 10.15.15.20/24 fsid = 67f4fe3d-5b5a-469a-80d3-bfae71eb1037 mon_allow_pool_delete = true mon_host = 10.15.15.20 10.15.15.18 10.15.15.19 ms_bind_ipv4 = true ms_bind_ipv6 = false osd_pool_default_min_size = 2 osd_pool_default_size = 3 public_network = 10.15.15.20/24 [client] keyring = /etc/pve/priv/$cluster.$name.keyring [mon.axiom1] public_addr = 10.15.15.18 [mon.axiom2] public_addr = 10.15.15.19 [mon.pve] public_addr = 10.15.15.20

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры