Аспро: ЛайтШоп [тема: 3-узловая сеть Proxmox и Ceph]

3-узловая сеть Proxmox и Ceph

Fri, 24 Nov 2023 14:31:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@VictorSTS Эта проблема оказалась связана с неправильной конфигурацией в FRR. Хотя мы много раз проверяли и тестировали после пересоздания конфигурации FRR, теперь всё работает. Спасибо за помощь.
24.11.2023 14:31:00, rdfeij.

3-узловая сеть Proxmox и Ceph

Wed, 15 Nov 2023 14:03:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я пытаюсь воспроизвести проблему в своей лаборатории, как только будет время, сразу сообщу.
15.11.2023 14:03:00, VictorSTS.

3-узловая сеть Proxmox и Ceph

Wed, 15 Nov 2023 13:58:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Знаю, как я уже говорил, я перепробовал почти всё, чтобы это запустить, так что где-то я напортачил с quorum (практически вручную пытаясь добавить второй узел). Но это не снимает главную проблему... Это моя первая установка версии 8 (родная, не обновлённая), может, там какая-то ошибка, но я точно не уверен. К счастью, на следующей неделе я пойду на официальное обучение Proxmox, так что вопросы у меня уже готовы.
15.11.2023 13:58:00, rdfeij.

3-узловая сеть Proxmox и Ceph

Wed, 15 Nov 2023 12:19:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я делал несколько mesh-кластеров и сотни не-mesh кластеров и никогда не сталкивался с проблемой неудачной проверки имени хоста. Похоже, ты делаешь что-то, из-за чего возникает эта проблема с хостами. Возможно, это не связано, но если в кластере всего один хост, тебе не нужно менять какие-либо голоса, чтобы достигнуть кворума. Если ты это делаешь, значит, что-то ещё не так.
15.11.2023 12:19:00, VictorSTS.

3-узловая сеть Proxmox и Ceph

Wed, 15 Nov 2023 12:13:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Поскольку я много тестировал, кворум пропал. Я снова поднял его, заставив голосовать узлы с 1 по 7. Но это тоже не помогает с ошибкой проверки имени хоста... Все больше и больше запутываюсь. Я устанавливал другие системы (но без frr) и никогда не сталкивался с такой проблемой. Код: root@node1:~# pvecm status
Информация о кластере
-------------------
Имя: DsmCluster
Версия конфигурации: 2
Транспорт: knet
Безопасная аутентификация: включена

Информация о кворуме
------------------
Дата: Ср, 15 ноября 2023, 12:06:35
Поставщик кворума: corosync_votequorum
Узлы: 1
ID узла: 0x00000001
ID кольца: 1.28
Кворум есть: Да

Информация о голосах кворума
----------------------
Ожидаемые голоса: 7
Максимум ожидаемых: 7
Всего голосов: 7
Кворум: 4
Флаги: Кворум есть

Информация о членстве
----------------------
Nodeid Голоса Имя
0x00000001 7 10.14.14.1 (локальный)
15.11.2023 12:13:00, rdfeij.

3-узловая сеть Proxmox и Ceph

Wed, 15 Nov 2023 11:52:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если /etc/pve заблокирован, значит у вас нет кворума. Если в кластере только один хост, который и составляет весь кластер, этого не должно происходить. Что показывает команда pvecm status?
15.11.2023 11:52:00, VictorSTS.

3-узловая сеть Proxmox и Ceph

Wed, 15 Nov 2023 11:49:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Начинаю подозревать, что это связано с моим первым узлом (уже в кластере), где ещё нет кворума. Он не может ничего менять в папке /etc/pve, так как pmxcfs держит файлы в заблокированном состоянии?
15.11.2023 11:49:00, rdfeij.

3-узловая сеть Proxmox и Ceph

Wed, 15 Nov 2023 09:03:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, вчера после множества тестов с frr я полностью переустановил все 3 ноды с нуля и заново настроил кольца frr. Но потом застрял на этой проблеме.

/etc/hosts (с pvelocalhost, конечно, совпадающим с правильным хостом)
Код:
127.0.0.1 localhost.localdomain localhost
10.14.14.1 ProxMoxHost1.local ProxMoxHost1
10.14.14.2 ProxMoxHost2.local ProxMoxHost2 pvelocalhost
10.14.14.3 ProxMoxHost3.local ProxMoxHost3

# Следующие строки нужны для хостов с поддержкой IPv6

::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

Значения в /etc/hostname совпадают с теми, что в /etc/hosts. Подключение по hostname или по IP адресам не меняет ситуацию, одна и та же ошибка.
15.11.2023 09:03:00, rdfeij.

3-узловая сеть Proxmox и Ceph

Tue, 14 Nov 2023 17:09:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Использовались ли эти узлы в предыдущем кластере? Вы используете те же имена хостов или IP-адреса? При повторном использовании одних и тех же IP или имен хостов в одном кластере возникают проблемы. Извините, но в своих инструкциях я сказал использовать «hostname» (pvecm add ), но на самом деле имел в виду IP-адрес участника кластера. Можете попробовать так? Если всё ещё не получится, пришлите содержимое файлов /etc/hosts и /etc/hostname с этих двух машин. Curl не работает, потому что сертификаты, созданные при установке Proxmox, самоподписанные, и curl по умолчанию им не доверяет. Команда curl https://10.14.14.1:8006 -Ik должна сработать.
14.11.2023 17:09:00, VictorSTS.

3-узловая сеть Proxmox и Ceph

Tue, 14 Nov 2023 16:14:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @VictorSTS. У нас работает FRR на гигабитных и 10-гигабитных интерфейсах. Мы создали кластер, но при добавлении узла возникает ошибка проверки имени хоста. Для меня это новое, ведь я давно запускал другой кластер с подключением по SSH.

Ошибка, которую мы получаем:

root@ProxMoxHost2:~# pvecm add ProxMoxHost1.local --link0 10.14.14.2,priority=10 --link1 10.15.15.2,priority=20
Please enter superuser (root) password for 'ProxMoxHost1.local': **************
Establishing API connection with host 'ProxMoxHost1.local'
The authenticity of host 'ProxMoxHost1.local' can't be established.
X509 SHA256 key fingerprint is 9B:F0:29:5D:78:5F 5:44:69:F3:80:40:BA:62:06:20:79:56:F7 0:70:FB E:30:6B:A2:C3:09:09:99:C5:97.
Are you sure you want to continue connecting (yes/no)? yes
500 Can't connect to ProxMoxHost1.local:8006 (hostname verification failed)

Curl тоже отказывается подключаться:

root@ProxMoxHost2:~# curl https://10.14.14.1:8006 -vi (также не работает при использовании имени хоста вместо IP)
* Trying 10.14.14.1:8006...
* Connected to 10.14.14.1 (10.14.14.1) port 8006 (#0)
* ALPN: offers h2,http/1.1
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* CAfile: /etc/ssl/certs/ca-certificates.crt
* CApath: /etc/ssl/certs
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (OUT), TLS alert, unknown CA (560):
* SSL certificate problem: unable to get local issuer certificate
* Closing connection 0
curl: (60) SSL certificate problem: unable to get local issuer certificate

Подробности здесь: https://curl.se/docs/sslcerts.html
curl не смог проверить подлинность сервера и поэтому не установил безопасное соединение. Чтобы понять ситуацию и как её исправить, можно посмотреть страницу по ссылке выше.

Мы много чего пробовали, чтобы заставить сертификат стать доверенным, но зашли в тупик. Ты или кто-нибудь ещё может помочь?
14.11.2023 16:14:00, rdfeij.

3-узловая сеть Proxmox и Ceph

Thu, 26 Oct 2023 17:04:00 +0300

3-узловая сеть Proxmox и Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы работаем с небольшой Proxmox-средой из 3 узлов и mesh-сетью. Все сервера имеют:
- 2x 10Гбит медных в mesh для сети кластера Ceph
- 2x 1Гбит медных в mesh (corosync)
- 2x 1Гбит свободных для внешней сети клиентов
- 2x 10Гбит SFP+, пока не используются (возможно, будут задействованы для трафика ВМ и публичной подсети Ceph, но сначала тестируем с 2 свободными 1Гбит-интерфейсами).

Я уже воспользовался https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server#Routed_Setup_.28simple.29 — маршрутизацией с резервным вариантом. Могу пинговать все узлы через mesh, но Proxmox, похоже, полностью игнорирует эту mesh, так как здесь нет «интерфейсов». Поэтому создание кластера терпит неудачу, так как Proxmox и corosync не знают о mesh. Конечно, можно вернуться к варианту с RSTP, но тогда трафик через один из узлов увеличивается вдвое при проходе к третьему.

Да, мы понимаем, что запускать Proxmox и Ceph на одних и тех же серверах неидеально, но это всего лишь для двух Windows-сред с минимальным трафиком. Все три сервера имеют по 2x 500 ГБ SSD на ZFS в Raid1 и 3x 1 ТБ SSD под Ceph OSD, а также приличный запас по CPU и памяти.

Есть кто-нибудь, кто может помочь с правильными методами настройки mesh-сети?
26.10.2023 17:04:00, rdfeij.