+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Переустановил ноду в кластере, и теперь у нас тут какой-то полный бардак., Proxmox Виртуальная Среда

Pourya Mehdinejad

Guest

31.12.2019 15:05:00

Привет всем! У нас кластер из 14 узлов. По каким-то причинам мне пришлось удалить 3 узла, переустановить Proxmox и вернуть их в кластер. Это происходило постепенно по разным причинам. Теперь проблема в том, что ни на один из узлов нельзя подключиться по SSH к узлам, которые были переустановлены. Они видят дублирующийся отпечаток в своих файлах know_hosts. Я запустил "pvecm updatecerts" на переустановленных узлах, но изменений нет. Единственный обходной путь — вручную удалять эти строки из файла know_hosts других узлов. Но если хоть один из них перезагрузят, все снова будет как прежде. Еще одна проблема: когда я добавляю новый узел, другие узлы видят его как офлайн и не могут мигрировать на него виртуальные машины. Приходится перезапускать службы corosync и pve-cluster, что меня очень пугает, потому что во время перезапуска узел отображается как офлайн в GUI, и я не знаю, не будут ли виртуальные машины испытывать какие-то перебои. Не могли бы вы помочь мне исправить состояние кластера?

mplssilva

Guest

31.12.2019 15:15:00

Доброе утро, https://pve.proxmox.com/wiki/Cluster_Manager#_remove_a_cluster_node - После выключения ноды hp4, мы можем безопасно удалить её из кластера: hp1# pvecm delnode hp4 pvecm status - Если по какой-то причине вы захотите, чтобы этот сервер снова присоединился к тому же кластеру, вам придётся: переустановить Proxmox VE на нём с нуля, а затем присоединить его, как описано в предыдущем разделе. После удаления ноды, её SSH-отпечаток все равно останется в файлах known_hosts на других нодах. Если вы получите ошибку SSH после повторного присоединения ноды с тем же IP или именем хоста, выполните pvecm updatecerts один раз на вновь добавленной ноде, чтобы обновить её отпечаток кластерно.

Pourya Mehdinejad Guest	#3 0 31.12.2019 15:22:00 Да, я это прочитал и сделал всё, как было сказано. Как я уже упоминал в своём заявлении, я даже запустил "pvecm updatecerts" на узлах. Но проблема осталась. Вот почему я делюсь этим здесь.

oguz Guest	#4 0 02.01.2020 13:49:00 Привет, можешь скинуть вывод команд `pvecm status` и `pveversion -v`?

Pourya Mehdinejad

Guest

02.01.2020 14:44:00

# pvecm status Quorum information ------------------
Дата: Thu Jan 2 17:43:42 2020
Поставщик кворума: corosync_votequorum
Узлы: 13
ID узла: 0x00000006
ID кольца: 3/2800
Кворум: Да
Информация о голосовом кворуме ----------------------
Ожидаемые голоса: 13
Наивысшее ожидаемое: 13
Общее количество голосов: 13
Кворум: 7
Флаги: Quorate
Информация о членстве ----------------------
Nodeid Голоса Имя
0x00000003 1 172.27.3.10
0x00000001 1 172.27.3.11
0x00000002 1 172.27.3.12
0x00000004 1 172.27.3.13
0x00000005 1 172.27.3.14
0x00000006 1 172.27.3.15 (local)
0x00000007 1 172.27.3.16
0x00000009 1 172.27.3.17
0x0000000a 1 172.27.3.18
0x0000000b 1 172.27.3.19
0x00000008 1 172.27.3.101
0x0000000c 1 172.27.3.102
0x0000000d 1 172.27.3.104

# pveversion -v
proxmox-ve: 5.4-2 (running kernel: 4.15.18-24-pve)
pve-manager: 5.4-13 (running version: 5.4-13/aee6f0ec)
pve-kernel-4.15: 5.4-12
pve-kernel-4.15.18-24-pve: 4.15.18-52
pve-kernel-4.15.18-21-pve: 4.15.18-48
ceph: 12.2.12-pve1
corosync: 2.4.4-pve1
criu: 2.11.1-1~bpo90
glusterfs-client: 3.8.8-1
ksm-control-daemon: not correctly installed
libjs-extjs: 6.0.1-2
libpve-access-control: 5.1-12
libpve-apiclient-perl: 2.0-5
libpve-common-perl: 5.0-56
libpve-guest-common-perl: 2.0-20
libpve-http-server-perl: 2.0-14
libpve-storage-perl: 5.0-44
libqb0: 1.0.3-1~bpo90
lvm2: 2.02.168-pve6
lxc-pve: 3.1.0-7
lxcfs: 3.0.3-pve1
novnc-pve: 1.0.0-3
proxmox-widget-toolkit: 1.0-28
pve-cluster: 5.0-38
pve-container: 2.0-41
pve-docs: 5.4-2
pve-edk2-firmware: 1.20190312-1
pve-firewall: 3.0-22
pve-firmware: 2.0-7
pve-ha-manager: 2.0-9
pve-i18n: 1.1-4
pve-libspice-server1: 0.14.1-2
pve-qemu-kvm: 3.0.1-4
pve-xtermjs: 3.12.0-1
qemu-server: 5.0-54
smartmontools: 6.5+svn4324-1
spiceterm: 3.0-5
vncterm: 1.5-3

oguz Guest	#6 0 03.01.2020 17:02:00 Все ли узлы имеют одинаковые версии PVE?

Pourya Mehdinejad Guest	#7 0 03.01.2020 20:18:00 Пока что нет, потому что обновляем наши ноды по одной. Но бывало такое, что у всех нод была одна и та же версия, а проблема все равно оставалась.

jsabater Guest	#8 0 21.03.2025 14:23:00 Я прошёл ту же процедуру, когда снова добавлял переустановленный узел, и в первый раз всё прошло отлично (pvecm updatecerts помогло). Но во второй раз, когда пришлось снова добавлять тот же узел после его переустановки из-за проблем с оборудованием, ничего не вышло. Пришлось вручную прочищать все файлы /etc/ssh/ssh_known_hosts и некоторые /root/.ssh/known_hosts, пока команда ssh не начала выдавать предупреждения при попытке подключиться с любого из "старых" узлов к "новенькому". К тому же, команда pvecm updatecerts -f на вновь добавленном узле только усугубила ситуацию, и мне пришлось удалять ещё больше строк в указанных выше файлах SSH know hosts.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры