+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Proxmox 4.2 DRBD: Узел не переподключается после перезагрузки/потери соединения., Proxmox Виртуальная Среда

Jospeh Huber

Guest

30.09.2016 11:14:00

Привет всем! Я новенький в DRBD, но Proxmox знаю не по наслышке

У нас настроена 3-узловая кластерная конфигурация DRBD9 с Proxmox 4.2, как описано в этой статье вики: https://pve.proxmox.com/wiki/DRBD9.

Мои версии:
* proxmox-ve: 4.2-64 (используемый ядро: 4.4.16-1-pve)
* drbdmanage: 0.97-1

DRBD хранилище доступно, и у меня есть два контейнера LXC с настроенным HA. Миграция HA и переключение на резервный узел работают как и ожидалось. Но если один узел перезагружается или происходит потеря соединения, он больше не подключается к DRBD. Я также настроил "post-up drbdadm adjust all" в /etc/network/interfaces. В вики описано, что нужно выполнить "drbdadm adjust all или drbdadm adjust-with-progress all"... но это не работает для меня. Он ничего не делает, даже если я запускаю его вручную.

Также я не нашёл ничего полезного здесь: https://www.drbd.org/en/doc/users-guide-90/s-node-failure. Если пересоздать ВМ из резервной копии, всё снова работает, но это не кажется правильным решением проблемы

Есть какие-нибудь идеи?

P.S. Мой план такой: когда проблема будет решена, я буду использовать несколько небольших тестовых систем, и если всё будет работать, то внедрю это в production.

Вот некоторые данные:

```
Code:
root@vmhost2:~# drbd-overview
0:.drbdctrl/0 Connected(3*) Secondary(3*) UpTo(vmhost2)/UpTo(vmhost5,vmhost1)
1:.drbdctrl/1 Connected(3*) Secondary(3*) UpTo(vmhost2)/UpTo(vmhost5,vmhost1)
100:vm-108-disk-1/0 Conn(vmhost5,vmhost2)/C'ng(vmhost1) Prim(vmhost2)/Unkn(vmhost1)/Seco(vmhost5) UpTo(vmhost2)/Inco(vmhost1)/UpTo(vmhost5)
101:vm-132-disk-1/0 Conn(vmhost2,vmhost5)/C'ng(vmhost1) Seco(vmhost2)/Unkn(vmhost1)/Prim(vmhost5) UpTo(vmhost2)/Inco(vmhost1)/UpTo(vmhost5)

root@vmhost1:~# drbdmanage list-nodes
+---------------------------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|---------------------------------------------------------------------------------------------------------|
| vmhost1 | 510976 | 500756 | | ok |
| vmhost2 | 510976 | 506734 | | ok |
| vmhost5 | 510976 | 500756 | | ok |
+---------------------------------------------------------------------------------------------------------+
```

A) Отключенный узел:

```
drbdsetup status
.drbdctrl role:Secondary
volume:0 disk:UpToDate
volume:1 disk:UpToDate
vmhost2 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
vmhost5 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate

vm-108-disk-1 role:Secondary
disk:Inconsistent
vmhost2 connection:StandAlone
vmhost5 connection:StandAlone

vm-132-disk-1 role:Secondary
disk:Outdated
vmhost2 connection:StandAlone
vmhost5 connection:StandAlone
```

B) Подключённый узел:

```
root@vmhost2:~# drbdsetup status
.drbdctrl role:Secondary
volume:0 disk:UpToDate
volume:1 disk:UpToDate
vmhost1 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
vmhost5 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate

vm-108-disk-1 role:Primary
disk:UpToDate
vmhost1 connection:Connecting
vmhost5 role:Secondary
peer-disk:UpToDate

vm-132-disk-1 role:Secondary
disk:UpToDate
vmhost1 connection:Connecting
vmhost5 role:Primary
peer-disk:UpToDate
```

Jospeh Huber

Guest

05.12.2016 18:10:00

Проблема снова возникла после перезагрузки. Система с drbd проработала 65 дней. proxmox-ve: 4.3-66 (running kernel: 4.4.19-1-pve) ... drbdmanage: 0.97.3-1. Приходится выполнять на всех узлах: drbdmanage export-res "*"; drbdadm adjust all. Затем снова подключается. К счастью, не воспроизводится после нескольких перезагрузок...

Jospeh Huber

Guest

13.12.2016 16:57:00

После нескольких перезагрузок и обновлений я не могу синхронизировать некоторые диски в моей 3-узловой кластере. Я пробовал разные подходы, но ничего не помогает:

```
Code: drbdmanage list-nodes
+--------------------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|--------------------------------------------------------------------------------------------------|
| vmhost1 | 510976 | 366727 | | ok |
| vmhost2 | 510976 | 365858 | | ok |
| vmhost5 | 510976 | 370917 | | ok |
+--------------------------------------------------------------------------------------------------+
```

Узел 1
`drbdsetup status vm-103-disk-1`
vm-103-disk-1 role:Secondary
disk:Inconsistent
vmhost2 connection:Connecting
vmhost5 connection:Connecting

Узел 2
vm-103-disk-1 role:Secondary
disk:UpToDate
vmhost1 connection:StandAlone
vmhost5 role:Primary
peer-disk:UpToDate

Узел 3
vm-103-disk-1 role:Primary
disk:UpToDate
vmhost1 connection:StandAlone
vmhost2 role:Secondary
peer-disk:UpToDate

Я пробовал ручное восстановление split-brain… но ничего не помогает (drbdmanage export-res "*";drbdadm adjust all).

Какие есть идеи?

stalenode: drbdadm disconnect vm-103-disk-1
stalenode: drbdadm connect --discard-my-data vm-103-disk-1
goodnode: drbdadm connect vm-103-disk-1`

Кажется, у меня также есть устаревшие данные в конфигурации… не могу это исправить!

/var/lib/drbd.d/drbdmanage_vm-107-disk-1.res:2: in resource vm-107-disk-1: # executed on all three nodes
drbdmanage remove-resource vm-107-disk-1 --force
drbdmanage export-res "*";drbdadm adjust-with-progress all
WARNING:root:Could not read configuration file '/etc/drbdmanaged.cfg'
Operation completed successfully

/var/lib/drbd.d/drbdmanage_vm-107-disk-1.res:2: in resource vm-107-disk-1: There is no 'on' section for hostname 'vmhost1' named in the connection-mesh

titux Guest	#4 0 03.02.2017 14:00:00 У меня та же проблема, та же версия 4.3, соединение теряется и статус "соединяется"... устарело... никогда не переподключается... Попробую обновиться до версии 4.4 и посмотрю, что получится.

titux

Guest

05.02.2017 14:27:00

К сожалению, проблемы всё ещё существуют. Мой ресурс остаётся в StandAlone режиме даже после обновления нод до Promox 4.4-12. Лицензия DRBDmanage снова в статусе GPL, так что, пожалуйста, Proxmox, помогите... Вижу, что drbdmanage не обновился до последней версии..

e100 Guest	#6 0 05.02.2017 16:40:00 Linbit теперь предоставляет репозиторий DRBD для Proxmox, возможно, переключение на него решит вашу проблему. https://www.drbd.org/en/doc/users-guide-90/s-proxmox-install

petr108m Guest	#7 0 26.09.2024 12:57:00 Я специально зарегистрировался, чтобы предложить вам решение. Настройте SSH-ключ для root-доступа между узлами. Затем добавьте хуки для сети (конфигурации Ansible Jinja). Код для отключения интерфейса: # nano ifdown_drbd.j2 #!/bin/bash if [ "${IFACE}" == "{{ nic }}" ]; then killall -r '/opt/drbd' &> /dev/null fi exit 0 Код для включения интерфейса: # nano ifup_drbd.j2 #!/bin/bash if [ -x /sbin/drbdadm ] && [ "${IFACE}" == "{{ nic }}" ]; then timeout 600 /opt/drbd &> /dev/null & fi exit 0 Сам скрипт: # nano opt_drbd.j2 #!/bin/bash ### после перезапуска сети узлы кластера DRBD становятся автономными без попыток переподключения # время для деградации кластера sleep 5 # SSH-проверка второго узла while ! ssh -q -o "BatchMode=yes" -o StrictHostKeyChecking=accept-new {{ remote_ip }} exit; do sleep 10 done # Запуск восстановления до успешного результата while ! drbdadm status \| grep -q "peer-disk:UpToDate"; do drbdadm adjust all timeout 5 ssh {{ remote_ip }} drbdadm adjust all sleep 10 done # Удаление сетевой ошибки sleep 10 crm resource cleanup Это влияет на оба случая: кластер деградировал и не деградировал после перезапуска сети. Не забудьте!

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры