Аспро: ЛайтШоп [тема: PVE5 и устройство кворума]

PVE5 и устройство кворума

Tue, 19 Feb 2019 15:39:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я продвинулся далеко, но теперь не могу запустить qdevice на Raspberry Pi. Код: root@pve1:~# pvecm status
Информация о кворуме
------------------
Дата: Вт Фев 19 15:35:19 2019
Поставщик кворума: corosync_votequorum
Узлы: 2
ID узла: 0x00000001
ID кольца: 1/16
Кворум: Да

Информация о голосовании
----------------------
Ожидаемые голоса: 3
Максимально ожидаемые: 3
Общее количество голосов: 2
Кворум: 2
Флаги: Кворумный Qdevice

Информация о членстве
----------------------
ID узла Голоса Имя Qdevice
0x00000001 1 A,NV,NMW 10.0.200.220 (локальный)
0x00000002 1 A,NV,NMW 10.0.200.221
0x00000000 0 Qdevice (голоса 1) Запустите qnetd на Raspberry Pi: Код: Фев 19 15:35:23 pvew systemd[1]: Запуск демона сети Corosync Qdevice...
-- Тема: Юнит corosync-qnetd.service начал запуск
-- Определено: systemd
-- Поддержка: https://www.debian.org/support
--
-- Юнит corosync-qnetd.service начал запуск.
Фев 19 15:35:23 pvew corosync-qnetd[799]: Фев 19 15:35:23 критическая ошибка NSS (-8015): База данных сертификатов/ключей находится в старом, неподдерживаемом формате.
Фев 19 15:35:23 pvew systemd[1]: corosync-qnetd.service: Главный процесс завершился, код=выход, статус=1/ОШИБКА
Фев 19 15:35:23 pvew systemd[1]: Не удалось запустить демон сети Corosync Qdevice.
-- Тема: Юнит corosync-qnetd.service завершил работу с ошибкой
-- Определено: systemd
-- Поддержка: https://www.debian.org/support
--
-- Юнит corosync-qnetd.service завершил работу с ошибкой.
--
-- Результат: ошибка.
Фев 19 15:35:23 pvew systemd[1]: corosync-qnetd.service: Юнит вошел в состояние ошибки.
Фев 19 15:35:23 pvew systemd[1]: corosync-qnetd.service: Завершился с результатом 'выходной код'. У кого-нибудь есть идеи?
19.02.2019 15:39:00, Eric Van den Bossche.

PVE5 и устройство кворума

Mon, 18 Feb 2019 14:13:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это одна из моих проблем. Пробовал все возможные решения, которые мог найти в гугле, но пока безуспешно, всё равно требует пароль...
18.02.2019 14:13:00, Eric Van den Bossche.

PVE5 и устройство кворума

Mon, 18 Feb 2019 11:20:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Думаю, проблема в том, что (по крайней мере в моем случае) root@pi (qdevice) не смог выполнить ssh подключение к двум PVE хостам с использованием публичного ключа. Можешь подтвердить, что qdevice успешно подключается к root через публичный ключ на каждом PVE хосте?
18.02.2019 11:20:00, JTRealms.

PVE5 и устройство кворума

Mon, 18 Feb 2019 11:10:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В данном случае это не так. Я могу подключиться к qdevice как root по SSH без ввода пароля: ssh root@10.0.200.159
18.02.2019 11:10:00, Eric Van den Bossche.

PVE5 и устройство кворума

Mon, 18 Feb 2019 11:06:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На самом деле у меня была такая же проблема, оказалось, что я просто добавлял неправильный ключ (для пользовательской учётной записи, а не для root) в authorized_keys хоста PVE. Как только я это исправил, всё сразу заработало.
18.02.2019 11:06:00, JTRealms.

PVE5 и устройство кворума

Sun, 17 Feb 2019 19:56:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мне трудно заставить это работать. Что бы я ни пробовал, я всегда получаю одни и те же ошибки: Код: root@pve1:~# corosync-qdevice-net-certutil -Q -n vdbcluster 10.0.200.159 10.0.200.153 10.0.200.156 Создание /etc/corosync/qnetd/nssdb Создание новой базы данных ключей и сертификатов файл пароля не содержит данных Создание нового файла шума /etc/corosync/qnetd/nssdb/noise.txt Создание нового CA

Генерация ключа. Это может занять несколько мгновений...

Это сертификат CA [y/N]? Введите ограничение длины пути, нажмите Enter для пропуска [<0 для неограниченного пути]: > Это критическое расширение [y/N]?

Генерация ключа. Это может занять несколько мгновений...

Замечание: Флаг доверия u устанавливается автоматически, если закрытый ключ присутствует. Сертификат CA QNetd экспортирован как /etc/corosync/qnetd/nssdb/qnetd-cacert.crt Доступ запрещен, попробуйте еще раз. Доступ запрещен, попробуйте еще раз. Доступ запрещен (publickey,password). потеряно соединение Не удается открыть файл сертификата /tmp/qnetd-cacert.crt Доступ запрещен, попробуйте еще раз. Доступ запрещен, попробуйте еще раз. Доступ запрещен (publickey,password). потеряно соединение Не удается открыть файл сертификата /tmp/qnetd-cacert.crt База данных сертификатов не существует. Используйте /usr/sbin/corosync-qdevice-net-certutil -i для ее создания /etc/corosync/qdevice/net/nssdb/qdevice-net-node.crq: Нет такого файла или директории Не удается открыть файл сертификата /tmp/qdevice-net-node.crq Доступ запрещен, попробуйте еще раз. Доступ запрещен, попробуйте еще раз. Доступ запрещен (publickey,password). потеряно соединение Не удается открыть файл сертификата /etc/corosync/qdevice/net/nssdb/cluster-vdbcluster.crt /etc/corosync/qdevice/net/nssdb//qdevice-net-node.p12: Нет такого файла или директории Не удается открыть файл сертификата /etc/corosync/qdevice/net/nssdb//qdevice-net-node.p12 используется аутентификация ssh по публичному ключу: Код: root@pve1:~# ssh 10.0.200.159 Linux raspberrypi 4.14.50+ #1122 Вт 19 июн 12:21:21 BST 2018 armv6l

Программы, включенные в систему Debian GNU/Linux, являются бесплатным программным обеспечением; точные условия распределения каждой программы описаны в отдельных файлах в /usr/share/doc/*/copyright.

Debian GNU/Linux поставляется БЕЗ ГАРАНТИЙ, насколько это разрешено действующим законодательством. Последний вход: Вс Фев 17 19:50:49 2019 с 10.0.200.153

root@raspberrypi:~# У кого-нибудь есть идеи, что может быть не так? Заранее спасибо.
17.02.2019 19:56:00, Eric Van den Bossche.

PVE5 и устройство кворума

Fri, 23 Nov 2018 15:43:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня есть еще один вопрос по этой конфигурации. Я хочу изменить свой "witness" сервер. После установки всех предварительных требований на новом сервере, могу ли я просто запустить "corosync-qdevice-net-certutil -Q -n proxmox 23.11.2018 15:43:00, de Thysebaert.

PVE5 и устройство кворума

Fri, 23 Nov 2018 06:07:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо
23.11.2018 06:07:00, de Thysebaert.

PVE5 и устройство кворума

Thu, 22 Nov 2018 20:54:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
автор "нugget", на котором основан этот учебник здесь... нет, только один раз на одном PVE узле. Он соединяется со всеми прошедшими хостами через SSH (поэтому рекомендуется настроить аутентификацию по общему SSH-ключу) и устанавливает сертификаты для всех из них. Просто замените 'proxmox' на имя вашего кластера и убедитесь, что первым идет "свидетель", а не PVE узел.
22.11.2018 20:54:00, t.lamprecht.

PVE5 и устройство кворума

Thu, 22 Nov 2018 19:43:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я вернулся с этим постом. Я забыл, нужно ли запускать команду "corosync-qdevice-net-certutil -Q -n proxmox 22.11.2018 19:43:00, de Thysebaert.

PVE5 и устройство кворума

Sat, 25 Aug 2018 13:00:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это работает абсолютно прекрасно, никаких мёртвых узлов в веб-интерфейсе, спасибо @Jeff Billimek и @Michal Michalac. Это должно заменить страницу вики https://pve.proxmox.com/wiki/Raspberry_Pi_as_third_node.
25.08.2018 13:00:00, loomes.

PVE5 и устройство кворума

Wed, 11 Jul 2018 15:37:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за вашу статью. Я её использовал, и всё работает, как и ожидалось. Есть несколько мелких замечаний: corosync-qdevice нужно устанавливать только на настоящих узлах proxmox (proxmox и proxmox-b). corosync-qnetd нужно устанавливать только на устройстве куорома (свидетели). Оба могут быть установлены на всех серверах, но это бесполезно. После настройки corosync-qnetd (corosync-qdevice-net-certutil ...), этот сервис нужно вручную включить и запустить на свидетеле: Код: systemctl enable corosync-qnetd
systemctl start corosync-qnetd. Лучше всего редактировать общую версию corosync.conf по адресу /etc/pve/corosync.conf на одном из узлов proxmox. (Не забудьте увеличить totem.config_version). Изменения затем автоматически распространяются на все узлы, копируются в /etc/corosync/corosync.conf и применяются. Нет необходимости перезагружать corosync. corosync-qdevice требуется включить и запустить вручную на всех узлах (proxmox и proxmos-b). Код: systemctl enable corosync-qdevice
systemctl start corosync-qdevice
11.07.2018 15:37:00, Michal Michalac.

PVE5 и устройство кворума

Mon, 28 May 2018 19:57:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет снова, прошло много времени. Кажется, решение теперь работает, как и ожидалось. Я просто настроил аутентификацию с помощью открытого ключа (без пароля) между каждым узлом и коробкой с qdevice. После этой настройки команда corosync-qdevice-net-certutil -Q -n proxmox выполнилась без ошибок, и остальная часть вашей настройки тоже прошла без проблем. Спасибо!
28.05.2018 19:57:00, de Thysebaert.

PVE5 и устройство кворума

Mon, 28 May 2018 11:52:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за этот документ, очень интересно. У меня постоянно возникают ошибки, когда я выполняю команду: corosync-qdevice-net-certutil -Q -n proxmox . В документе первый IP — это IP для устройства с диском кворума, остальные IP для узлов. Первая ошибка: База данных сертификатов (/etc/corosync/qnetd/nssdb) уже существует. Удалите её, чтобы инициализировать новую базу данных. Затем: Не удается открыть файл сертификата /tmp/qnetd-cacert.crt... не удается создать qdevice в данный момент. Спасибо, если у вас есть идеи.
28.05.2018 11:52:00, de Thysebaert.

PVE5 и устройство кворума

Sun, 27 May 2018 07:12:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я хотел бы сообщить, что мне удалось запустить corosync-qdevice для моего кластера с 2 узлами. Ранее я использовал подход с raspberry-pi в качестве третьего узла, который казался довольно кустарным решением. Пустой узел отображается в информации кластера proxmox как неиспользуемые узлы (а они и есть неиспользуемые) и мешает мне создавать новую виртуальную машину, пока я временно не удалю эти пустые узлы из конфигурации corosync и не перезапущу corosync. Это было не очень удобно. Основываясь на этой полезной информации из поста pve mail, я сделал следующее, чтобы это заработало в моем окружении с 2 узлами. Для контекста, вот моя среда: хост: proxmox (один из узлов в моем кластере) хост: proxmox-b (другой узел в моем кластере) хост: witness (неграфический raspberry pi узел, который я использую в качестве corosync 'witness' для голосований по кворуму) На всех трех хостах я установил corosync-qdevice и corosync-qnetd (думаю, что qnetd нужен только на ненашем хосте, но не уверен): Код: apt-get install corosync-qdevice apt-get install corosync-qnetd Далее я убедился, что proxmox, proxmox-b и witness могут все без проблем ssh друг к другу как root. На proxmox выполнил следующее (где последние три аргумента): Код: corosync-qdevice-net-certutil -Q -n <имя кластера> (вы можете определить имя кластера, посмотрев значение cluster_name в /etc/corosync/corosync.conf) Отредактировал /etc/corosync/corosync.conf и добавил следующее в секцию кворума: Код: quorum { provider: corosync_votequorum device { model: net votes: 1 net { tls: on host: algorithm: ffsplit } } } После этого перезапустил службу corosync и службу corosync-qdevice: Код: service corosync restart service corosync-qdevice start Выполнил те же шаги по редактированию corosync.conf и перезапуску на proxmox-b. После этого corosync-quorumtool показывает следующее: Код: root@proxmox:/etc/corosync# corosync-quorumtool Информация о кворуме ------------------ Дата: Вск Май 27 00:54:41 2018 Поставщик кворума: corosync_votequorum Узлы: 2 Идентификатор узла: 1 Идентификатор кольца: 1/4656 Кворум: Да Информация о голосах кворума ---------------------- Ожидаемые голоса: 3 Наибольшее ожидаемое: 3 Всего голосов: 3 Кворум: 2 Флаги: Кворум Qdevice Информация о членстве ---------------------- Nodeid Votes Qdevice Name 1 1 A,V,NMW (локальный) 2 1 A,V,NMW 0 1 Qdevice Протестировал это, перезагрузив witness. Всё прошло хорошо. Пока witness перезагружался, я заметил, что corosync-quorumtool показал, что witness не имел голосов, но кластер был в порядке. Далее протестировал это, перезагрузив proxmox-b. Во время перезагрузки corosync-quorumtool показал, что узел отключился, но по-прежнему имел 2 голоса и кворум и был в норме. Это может сработать или не сработать для вас, так что будьте осторожны, если начнете экспериментировать!
27.05.2018 07:12:00, Jeff Billimek.

PVE5 и устройство кворума

Sat, 26 May 2018 17:34:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я только что увидел твой пост. У тебя есть пошаговая документация по настройке Corosync-qdevice и использованию внешнего устройства кворума? Спасибо.
26.05.2018 17:34:00, de Thysebaert.

PVE5 и устройство кворума

Tue, 26 Sep 2017 14:44:00 +0300

PVE5 и устройство кворума Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может кто-нибудь указать мне на правильную документацию по созданию HA окружения с 2 узлами и внешним устройством кворума? Я знаю, что это возможно (даже с raspberry), но не помню, как это сделать.
26.09.2017 14:44:00, Alessandro 123.