Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    3-узловая сеть Proxmox и Ceph

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    3-узловая сеть Proxmox и Ceph, Proxmox Виртуальная Среда
     
    rdfeij
    Guest
    #1
    0
    26.10.2023 17:04:00
    Мы работаем с небольшой Proxmox-средой из 3 узлов и mesh-сетью. Все сервера имеют:  
    - 2x 10Гбит медных в mesh для сети кластера Ceph  
    - 2x 1Гбит медных в mesh (corosync)  
    - 2x 1Гбит свободных для внешней сети клиентов  
    - 2x 10Гбит SFP+, пока не используются (возможно, будут задействованы для трафика ВМ и публичной подсети Ceph, но сначала тестируем с 2 свободными 1Гбит-интерфейсами).  

    Я уже воспользовался https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server#Routed_Setup_.28simple.29 — маршрутизацией с резервным вариантом. Могу пинговать все узлы через mesh, но Proxmox, похоже, полностью игнорирует эту mesh, так как здесь нет «интерфейсов». Поэтому создание кластера терпит неудачу, так как Proxmox и corosync не знают о mesh. Конечно, можно вернуться к варианту с RSTP, но тогда трафик через один из узлов увеличивается вдвое при проходе к третьему.  

    Да, мы понимаем, что запускать Proxmox и Ceph на одних и тех же серверах неидеально, но это всего лишь для двух Windows-сред с минимальным трафиком. Все три сервера имеют по 2x 500 ГБ SSD на ZFS в Raid1 и 3x 1 ТБ SSD под Ceph OSD, а также приличный запас по CPU и памяти.  

    Есть кто-нибудь, кто может помочь с правильными методами настройки mesh-сети?
     
     
     
    rdfeij
    Guest
    #2
    0
    14.11.2023 16:14:00
    Привет, @VictorSTS. У нас работает FRR на гигабитных и 10-гигабитных интерфейсах. Мы создали кластер, но при добавлении узла возникает ошибка проверки имени хоста. Для меня это новое, ведь я давно запускал другой кластер с подключением по SSH.

    Ошибка, которую мы получаем:

    root@ProxMoxHost2:~# pvecm add ProxMoxHost1.local --link0 10.14.14.2,priority=10 --link1 10.15.15.2,priority=20  
    Please enter superuser (root) password for 'ProxMoxHost1.local': **************  
    Establishing API connection with host 'ProxMoxHost1.local'  
    The authenticity of host 'ProxMoxHost1.local' can't be established.  
    X509 SHA256 key fingerprint is 9B:F0:29:5D:78:5F 5:44:69:F3:80:40:BA:62:06:20:79:56:F7 0:70:FB E:30:6B:A2:C3:09:09:99:C5:97.  
    Are you sure you want to continue connecting (yes/no)? yes  
    500 Can't connect to ProxMoxHost1.local:8006 (hostname verification failed)

    Curl тоже отказывается подключаться:

    root@ProxMoxHost2:~# curl https://10.14.14.1:8006 -vi (также не работает при использовании имени хоста вместо IP)  
    *   Trying 10.14.14.1:8006...  
    * Connected to 10.14.14.1 (10.14.14.1) port 8006 (#0)  
    * ALPN: offers h2,http/1.1  
    * TLSv1.3 (OUT), TLS handshake, Client hello (1):  
    *  CAfile: /etc/ssl/certs/ca-certificates.crt  
    *  CApath: /etc/ssl/certs  
    * TLSv1.3 (IN), TLS handshake, Server hello (2):  
    * TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):  
    * TLSv1.3 (IN), TLS handshake, Certificate (11):  
    * TLSv1.3 (OUT), TLS alert, unknown CA (560):  
    * SSL certificate problem: unable to get local issuer certificate  
    * Closing connection 0  
    curl: (60) SSL certificate problem: unable to get local issuer certificate  

    Подробности здесь: https://curl.se/docs/sslcerts.html  
    curl не смог проверить подлинность сервера и поэтому не установил безопасное соединение. Чтобы понять ситуацию и как её исправить, можно посмотреть страницу по ссылке выше.

    Мы много чего пробовали, чтобы заставить сертификат стать доверенным, но зашли в тупик. Ты или кто-нибудь ещё может помочь?
     
     
     
    VictorSTS
    Guest
    #3
    0
    14.11.2023 17:09:00
    Использовались ли эти узлы в предыдущем кластере? Вы используете те же имена хостов или IP-адреса? При повторном использовании одних и тех же IP или имен хостов в одном кластере возникают проблемы. Извините, но в своих инструкциях я сказал использовать «hostname» (pvecm add <hostname.of.already.cluster_member>), но на самом деле имел в виду IP-адрес участника кластера. Можете попробовать так? Если всё ещё не получится, пришлите содержимое файлов /etc/hosts и /etc/hostname с этих двух машин. Curl не работает, потому что сертификаты, созданные при установке Proxmox, самоподписанные, и curl по умолчанию им не доверяет. Команда curl https://10.14.14.1:8006 -Ik должна сработать.
     
     
     
    rdfeij
    Guest
    #4
    0
    15.11.2023 09:03:00
    Привет, вчера после множества тестов с frr я полностью переустановил все 3 ноды с нуля и заново настроил кольца frr. Но потом застрял на этой проблеме.

    /etc/hosts (с pvelocalhost, конечно, совпадающим с правильным хостом)  
    Код:  
    127.0.0.1 localhost.localdomain localhost  
    10.14.14.1 ProxMoxHost1.local ProxMoxHost1  
    10.14.14.2 ProxMoxHost2.local ProxMoxHost2 pvelocalhost  
    10.14.14.3 ProxMoxHost3.local ProxMoxHost3

    # Следующие строки нужны для хостов с поддержкой IPv6

    ::1     ip6-localhost ip6-loopback  
    fe00::0 ip6-localnet  
    ff00::0 ip6-mcastprefix  
    ff02::1 ip6-allnodes  
    ff02::2 ip6-allrouters  
    ff02::3 ip6-allhosts

    Значения в /etc/hostname совпадают с теми, что в /etc/hosts. Подключение по hostname или по IP адресам не меняет ситуацию, одна и та же ошибка.
     
     
     
    rdfeij
    Guest
    #5
    0
    15.11.2023 11:49:00
    Начинаю подозревать, что это связано с моим первым узлом (уже в кластере), где ещё нет кворума. Он не может ничего менять в папке /etc/pve, так как pmxcfs держит файлы в заблокированном состоянии?
     
     
     
    VictorSTS
    Guest
    #6
    0
    15.11.2023 11:52:00
    Если /etc/pve заблокирован, значит у вас нет кворума. Если в кластере только один хост, который и составляет весь кластер, этого не должно происходить. Что показывает команда pvecm status?
     
     
     
    rdfeij
    Guest
    #7
    0
    15.11.2023 12:13:00
    Поскольку я много тестировал, кворум пропал. Я снова поднял его, заставив голосовать узлы с 1 по 7. Но это тоже не помогает с ошибкой проверки имени хоста... Все больше и больше запутываюсь. Я устанавливал другие системы (но без frr) и никогда не сталкивался с такой проблемой. Код: root@node1:~# pvecm status  
    Информация о кластере  
    -------------------  
    Имя:             DsmCluster  
    Версия конфигурации:   2  
    Транспорт:        knet  
    Безопасная аутентификация: включена  

    Информация о кворуме  
    ------------------  
    Дата:             Ср, 15 ноября 2023, 12:06:35  
    Поставщик кворума:  corosync_votequorum  
    Узлы:            1  
    ID узла:          0x00000001  
    ID кольца:          1.28  
    Кворум есть:          Да  

    Информация о голосах кворума  
    ----------------------  
    Ожидаемые голоса:   7  
    Максимум ожидаемых: 7  
    Всего голосов:      7  
    Кворум:           4  
    Флаги:            Кворум есть  

    Информация о членстве  
    ----------------------  
       Nodeid      Голоса Имя  
    0x00000001          7 10.14.14.1 (локальный)
     
     
     
    VictorSTS
    Guest
    #8
    0
    15.11.2023 12:19:00
    Я делал несколько mesh-кластеров и сотни не-mesh кластеров и никогда не сталкивался с проблемой неудачной проверки имени хоста. Похоже, ты делаешь что-то, из-за чего возникает эта проблема с хостами. Возможно, это не связано, но если в кластере всего один хост, тебе не нужно менять какие-либо голоса, чтобы достигнуть кворума. Если ты это делаешь, значит, что-то ещё не так.
     
     
     
    rdfeij
    Guest
    #9
    0
    15.11.2023 13:58:00
    Знаю, как я уже говорил, я перепробовал почти всё, чтобы это запустить, так что где-то я напортачил с quorum (практически вручную пытаясь добавить второй узел). Но это не снимает главную проблему... Это моя первая установка версии 8 (родная, не обновлённая), может, там какая-то ошибка, но я точно не уверен. К счастью, на следующей неделе я пойду на официальное обучение Proxmox, так что вопросы у меня уже готовы.
     
     
     
    VictorSTS
    Guest
    #10
    0
    15.11.2023 14:03:00
    Я пытаюсь воспроизвести проблему в своей лаборатории, как только будет время, сразу сообщу.
     
     
     
    rdfeij
    Guest
    #11
    0
    24.11.2023 14:31:00
    @VictorSTS Эта проблема оказалась связана с неправильной конфигурацией в FRR. Хотя мы много раз проверяли и тестировали после пересоздания конфигурации FRR, теперь всё работает. Спасибо за помощь.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры