Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    PVE5 и устройство кворума

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    PVE5 и устройство кворума, Proxmox Виртуальная Среда
     
    Alessandro 123
    Guest
    #1
    0
    26.09.2017 14:44:00
    Может кто-нибудь указать мне на правильную документацию по созданию HA окружения с 2 узлами и внешним устройством кворума? Я знаю, что это возможно (даже с raspberry), но не помню, как это сделать.
     
     
     
    de Thysebaert
    Guest
    #2
    0
    26.05.2018 17:34:00
    Привет, я только что увидел твой пост. У тебя есть пошаговая документация по настройке Corosync-qdevice и использованию внешнего устройства кворума? Спасибо.
     
     
     
    Jeff Billimek
    Guest
    #3
    0
    27.05.2018 07:12:00
    Я хотел бы сообщить, что мне удалось запустить corosync-qdevice для моего кластера с 2 узлами. Ранее я использовал подход с raspberry-pi в качестве третьего узла, который казался довольно кустарным решением. Пустой узел отображается в информации кластера proxmox как неиспользуемые узлы (а они и есть неиспользуемые) и мешает мне создавать новую виртуальную машину, пока я временно не удалю эти пустые узлы из конфигурации corosync и не перезапущу corosync. Это было не очень удобно. Основываясь на этой полезной информации из поста pve mail, я сделал следующее, чтобы это заработало в моем окружении с 2 узлами. Для контекста, вот моя среда: хост: proxmox (один из узлов в моем кластере) хост: proxmox-b (другой узел в моем кластере) хост: witness (неграфический raspberry pi узел, который я использую в качестве corosync 'witness' для голосований по кворуму) На всех трех хостах я установил corosync-qdevice и corosync-qnetd (думаю, что qnetd нужен только на ненашем хосте, но не уверен): Код: apt-get install corosync-qdevice apt-get install corosync-qnetd Далее я убедился, что proxmox, proxmox-b и witness могут все без проблем ssh друг к другу как root. На proxmox выполнил следующее (где последние три аргумента): Код: corosync-qdevice-net-certutil -Q -n <имя кластера> <ip адрес witness> <ip адрес proxmox> <ip адрес proxmox-b> (вы можете определить имя кластера, посмотрев значение cluster_name в /etc/corosync/corosync.conf) Отредактировал /etc/corosync/corosync.conf и добавил следующее в секцию кворума: Код: quorum { provider: corosync_votequorum device { model: net votes: 1 net { tls: on host: <ip адрес witness> algorithm: ffsplit } } } После этого перезапустил службу corosync и службу corosync-qdevice: Код: service corosync restart service corosync-qdevice start Выполнил те же шаги по редактированию corosync.conf и перезапуску на proxmox-b. После этого corosync-quorumtool показывает следующее: Код: root@proxmox:/etc/corosync# corosync-quorumtool Информация о кворуме ------------------ Дата: Вск Май 27 00:54:41 2018 Поставщик кворума: corosync_votequorum Узлы: 2 Идентификатор узла: 1 Идентификатор кольца: 1/4656 Кворум: Да Информация о голосах кворума ---------------------- Ожидаемые голоса: 3 Наибольшее ожидаемое: 3 Всего голосов: 3 Кворум: 2 Флаги: Кворум Qdevice Информация о членстве ---------------------- Nodeid Votes Qdevice Name 1 1 A,V,NMW <ip адрес proxmox> (локальный) 2 1 A,V,NMW <ip адрес proxmox-b> 0 1 Qdevice Протестировал это, перезагрузив witness. Всё прошло хорошо. Пока witness перезагружался, я заметил, что corosync-quorumtool показал, что witness не имел голосов, но кластер был в порядке. Далее протестировал это, перезагрузив proxmox-b. Во время перезагрузки corosync-quorumtool показал, что узел отключился, но по-прежнему имел 2 голоса и кворум и был в норме. Это может сработать или не сработать для вас, так что будьте осторожны, если начнете экспериментировать!
     
     
     
    de Thysebaert
    Guest
    #4
    0
    28.05.2018 11:52:00
    Спасибо за этот документ, очень интересно. У меня постоянно возникают ошибки, когда я выполняю команду: corosync-qdevice-net-certutil -Q -n proxmox <ip адрес для lb> <ip адрес для proxmox> <ip адрес для proxmox>. В документе первый IP — это IP для устройства с диском кворума, остальные IP для узлов. Первая ошибка: База данных сертификатов (/etc/corosync/qnetd/nssdb) уже существует. Удалите её, чтобы инициализировать новую базу данных. Затем: Не удается открыть файл сертификата /tmp/qnetd-cacert.crt... не удается создать qdevice в данный момент. Спасибо, если у вас есть идеи.
     
     
     
    de Thysebaert
    Guest
    #5
    0
    28.05.2018 19:57:00
    Привет снова, прошло много времени. Кажется, решение теперь работает, как и ожидалось. Я просто настроил аутентификацию с помощью открытого ключа (без пароля) между каждым узлом и коробкой с qdevice. После этой настройки команда corosync-qdevice-net-certutil -Q -n proxmox выполнилась без ошибок, и остальная часть вашей настройки тоже прошла без проблем. Спасибо!
     
     
     
    Michal Michalac
    Guest
    #6
    0
    11.07.2018 15:37:00
    Спасибо за вашу статью. Я её использовал, и всё работает, как и ожидалось. Есть несколько мелких замечаний: corosync-qdevice нужно устанавливать только на настоящих узлах proxmox (proxmox и proxmox-b). corosync-qnetd нужно устанавливать только на устройстве куорома (свидетели). Оба могут быть установлены на всех серверах, но это бесполезно. После настройки corosync-qnetd (corosync-qdevice-net-certutil ...), этот сервис нужно вручную включить и запустить на свидетеле: Код: systemctl enable corosync-qnetd
    systemctl start corosync-qnetd. Лучше всего редактировать общую версию corosync.conf по адресу /etc/pve/corosync.conf на одном из узлов proxmox. (Не забудьте увеличить totem.config_version). Изменения затем автоматически распространяются на все узлы, копируются в /etc/corosync/corosync.conf и применяются. Нет необходимости перезагружать corosync. corosync-qdevice требуется включить и запустить вручную на всех узлах (proxmox и proxmos-b). Код: systemctl enable corosync-qdevice
    systemctl start corosync-qdevice
     
     
     
    loomes
    Guest
    #7
    0
    25.08.2018 13:00:00
    Это работает абсолютно прекрасно, никаких мёртвых узлов в веб-интерфейсе, спасибо @Jeff Billimek и @Michal Michalac. Это должно заменить страницу вики https://pve.proxmox.com/wiki/Raspberry_Pi_as_third_node.
     
     
     
    de Thysebaert
    Guest
    #8
    0
    22.11.2018 19:43:00
    Привет, я вернулся с этим постом. Я забыл, нужно ли запускать команду "corosync-qdevice-net-certutil -Q -n proxmox <ip address for lb> <ip address for proxmox> <ip address for proxmox-b" на каждом proxmox??? Спасибо за совет!
     
     
     
    t.lamprecht
    Guest
    #9
    0
    22.11.2018 20:54:00
    автор "нugget", на котором основан этот учебник здесь... нет, только один раз на одном PVE узле. Он соединяется со всеми прошедшими хостами через SSH (поэтому рекомендуется настроить аутентификацию по общему SSH-ключу) и устанавливает сертификаты для всех из них. Просто замените 'proxmox' на имя вашего кластера и убедитесь, что первым идет "свидетель", а не PVE узел.
     
     
     
    de Thysebaert
    Guest
    #10
    0
    23.11.2018 06:07:00
    Спасибо
     
     
     
    de Thysebaert
    Guest
    #11
    0
    23.11.2018 15:43:00
    У меня есть еще один вопрос по этой конфигурации. Я хочу изменить свой "witness" сервер. После установки всех предварительных требований на новом сервере, могу ли я просто запустить "corosync-qdevice-net-certutil -Q -n proxmox <ip адрес для lb> <ip адрес для proxmox> <ip адрес для proxmox-b", чтобы обновить corosync-qdevice??? Спасибо.
     
     
     
    Eric Van den Bossche
    Guest
    #12
    0
    17.02.2019 19:56:00
    Мне трудно заставить это работать. Что бы я ни пробовал, я всегда получаю одни и те же ошибки: Код: root@pve1:~# corosync-qdevice-net-certutil -Q -n vdbcluster 10.0.200.159 10.0.200.153 10.0.200.156 Создание /etc/corosync/qnetd/nssdb Создание новой базы данных ключей и сертификатов файл пароля не содержит данных Создание нового файла шума /etc/corosync/qnetd/nssdb/noise.txt Создание нового CA

    Генерация ключа. Это может занять несколько мгновений...

    Это сертификат CA [y/N]? Введите ограничение длины пути, нажмите Enter для пропуска [<0 для неограниченного пути]: > Это критическое расширение [y/N]?

    Генерация ключа. Это может занять несколько мгновений...

    Замечание: Флаг доверия u устанавливается автоматически, если закрытый ключ присутствует. Сертификат CA QNetd экспортирован как /etc/corosync/qnetd/nssdb/qnetd-cacert.crt Доступ запрещен, попробуйте еще раз. Доступ запрещен, попробуйте еще раз. Доступ запрещен (publickey,password). потеряно соединение Не удается открыть файл сертификата /tmp/qnetd-cacert.crt Доступ запрещен, попробуйте еще раз. Доступ запрещен, попробуйте еще раз. Доступ запрещен (publickey,password). потеряно соединение Не удается открыть файл сертификата /tmp/qnetd-cacert.crt База данных сертификатов не существует. Используйте /usr/sbin/corosync-qdevice-net-certutil -i для ее создания  /etc/corosync/qdevice/net/nssdb/qdevice-net-node.crq: Нет такого файла или директории Не удается открыть файл сертификата /tmp/qdevice-net-node.crq Доступ запрещен, попробуйте еще раз. Доступ запрещен, попробуйте еще раз. Доступ запрещен (publickey,password). потеряно соединение Не удается открыть файл сертификата /etc/corosync/qdevice/net/nssdb/cluster-vdbcluster.crt /etc/corosync/qdevice/net/nssdb//qdevice-net-node.p12: Нет такого файла или директории Не удается открыть файл сертификата /etc/corosync/qdevice/net/nssdb//qdevice-net-node.p12 используется аутентификация ssh по публичному ключу: Код: root@pve1:~# ssh 10.0.200.159 Linux raspberrypi 4.14.50+ #1122 Вт 19 июн 12:21:21 BST 2018 armv6l

    Программы, включенные в систему Debian GNU/Linux, являются бесплатным программным обеспечением; точные условия распределения каждой программы описаны в отдельных файлах в /usr/share/doc/*/copyright.

    Debian GNU/Linux поставляется БЕЗ ГАРАНТИЙ, насколько это разрешено действующим законодательством. Последний вход: Вс Фев 17 19:50:49 2019 с 10.0.200.153

    root@raspberrypi:~# У кого-нибудь есть идеи, что может быть не так? Заранее спасибо.
     
     
     
    JTRealms
    Guest
    #13
    0
    18.02.2019 11:06:00
    На самом деле у меня была такая же проблема, оказалось, что я просто добавлял неправильный ключ (для пользовательской учётной записи, а не для root) в authorized_keys хоста PVE. Как только я это исправил, всё сразу заработало.
     
     
     
    Eric Van den Bossche
    Guest
    #14
    0
    18.02.2019 11:10:00
    В данном случае это не так. Я могу подключиться к qdevice как root по SSH без ввода пароля: ssh root@10.0.200.159
     
     
     
    JTRealms
    Guest
    #15
    0
    18.02.2019 11:20:00
    Думаю, проблема в том, что (по крайней мере в моем случае) root@pi (qdevice) не смог выполнить ssh подключение к двум PVE хостам с использованием публичного ключа. Можешь подтвердить, что qdevice успешно подключается к root через публичный ключ на каждом PVE хосте?
     
     
     
    Eric Van den Bossche
    Guest
    #16
    0
    18.02.2019 14:13:00
    Это одна из моих проблем. Пробовал все возможные решения, которые мог найти в гугле, но пока безуспешно, всё равно требует пароль...
     
     
     
    Eric Van den Bossche
    Guest
    #17
    0
    19.02.2019 15:39:00
    Я продвинулся далеко, но теперь не могу запустить qdevice на Raspberry Pi. Код: root@pve1:~# pvecm status
    Информация о кворуме
    ------------------
    Дата:             Вт Фев 19 15:35:19 2019
    Поставщик кворума:  corosync_votequorum
    Узлы:            2
    ID узла:          0x00000001
    ID кольца:       1/16
    Кворум:          Да

    Информация о голосовании
    ----------------------
    Ожидаемые голоса:   3
    Максимально ожидаемые: 3
    Общее количество голосов: 2
    Кворум:           2
    Флаги:            Кворумный Qdevice

    Информация о членстве
    ----------------------
       ID узла      Голоса    Имя Qdevice
    0x00000001          1   A,NV,NMW 10.0.200.220 (локальный)
    0x00000002          1   A,NV,NMW 10.0.200.221
    0x00000000          0            Qdevice (голоса 1) Запустите qnetd на Raspberry Pi: Код: Фев 19 15:35:23 pvew systemd[1]: Запуск демона сети Corosync Qdevice...
    -- Тема: Юнит corosync-qnetd.service начал запуск
    -- Определено: systemd
    -- Поддержка: https://www.debian.org/support
    --
    -- Юнит corosync-qnetd.service начал запуск.
    Фев 19 15:35:23 pvew corosync-qnetd[799]: Фев 19 15:35:23 критическая ошибка NSS (-8015): База данных сертификатов/ключей находится в старом, неподдерживаемом формате.
    Фев 19 15:35:23 pvew systemd[1]: corosync-qnetd.service: Главный процесс завершился, код=выход, статус=1/ОШИБКА
    Фев 19 15:35:23 pvew systemd[1]: Не удалось запустить демон сети Corosync Qdevice.
    -- Тема: Юнит corosync-qnetd.service завершил работу с ошибкой
    -- Определено: systemd
    -- Поддержка: https://www.debian.org/support
    --
    -- Юнит corosync-qnetd.service завершил работу с ошибкой.
    --
    -- Результат: ошибка.
    Фев 19 15:35:23 pvew systemd[1]: corosync-qnetd.service: Юнит вошел в состояние ошибки.
    Фев 19 15:35:23 pvew systemd[1]: corosync-qnetd.service: Завершился с результатом 'выходной код'. У кого-нибудь есть идеи?
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры