+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

DRBD9 неверный расчет свободного места, Proxmox Виртуальная Среда

hjjg

Guest

12.10.2015 21:37:00

Привет, народ! У меня есть 2 узла с такой настройкой: Код: virt01 ~ # vgs
VG #PV #LV #SN Attr VSize VFree

drbdpool 1 13 0 wz--n- 8.19t 4.17t

virt01 ~ # lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert

.drbdctrl_0 drbdpool -wi-ao---- 4.00m
.drbdctrl_1 drbdpool -wi-ao---- 4.00m
drbdthinpool drbdpool twi-aotz-- 4.01t 17.15 68.91
vm-101-disk-2_00 drbdpool Vwi-aotz-- 15.00g drbdthinpool 21.06
vm-102-disk-1_00 drbdpool Vwi-aotz-- 8.00g drbdthinpool 99.98
vm-103-disk-1_00 drbdpool Vwi-aotz-- 16.00g drbdthinpool 100.00
vm-103-disk-2_00 drbdpool Vwi-aotz-- 300.07g drbdthinpool 100.00
vm-104-disk-1_00 drbdpool Vwi-aotz-- 20.01g drbdthinpool 0.02
vm-104-disk-2_00 drbdpool Vwi-aotz-- 50.01g drbdthinpool 100.00
vm-106-disk-1_00 drbdpool Vwi-aotz-- 5.00g drbdthinpool 43.15
vm-107-disk-1_00 drbdpool Vwi-aotz-- 8.00g drbdthinpool 99.98
vm-107-disk-2_00 drbdpool Vwi-aotz-- 300.07g drbdthinpool 100.00
vm-110-disk-3_00 drbdpool Vwi-aotz-- 180.04g drbdthinpool 9.79

virt01 ~ # drbd-overview
0:.drbdctrl/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
1:.drbdctrl/1 Connected(2*) Secondary(2*) UpToDa/UpToDa
100:vm-103-disk-1/0 Connected(2*) Primar/Second UpToDa/UpToDa
101:vm-106-disk-1/0 Connected(2*) Primar/Second UpToDa/UpToDa
102:vm-102-disk-1/0 Connected(2*) Primar/Second UpToDa/UpToDa
103:vm-103-disk-2/0 Connected(2*) Primar/Second UpToDa/UpToDa
104:vm-104-disk-1/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
105:vm-104-disk-2/0 Connected(2*) Primar/Second UpToDa/UpToDa
107:vm-101-disk-2/0 Connected(2*) Primar/Second UpToDa/UpToDa
108:vm-107-disk-1/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
109:vm-107-disk-2/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
112:vm-110-disk-3/0 Connected(2*) Primar/Second UpToDa/Incons

virt02 ~ # vgs
VG #PV #LV #SN Attr VSize VFree
drbdpool 1 13 0 wz--n- 8.19t 4.17t
virt02 ~ # lvs
Не удалось найти устройство с uuid 0cIwcx-nBiD-i9tR-nSDk-RRIs-ITaK-18ULTx.
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
.drbdctrl_0 drbdpool -wi-ao---- 4.00m
.drbdctrl_1 drbdpool -wi-ao---- 4.00m
drbdthinpool drbdpool twi-aotz-- 4.01t 18.25 75.79
vm-101-disk-2_00 drbdpool Vwi-aotz-- 15.00g drbdthinpool 100.00
vm-102-disk-1_00 drbdpool Vwi-aotz-- 8.00g drbdthinpool 99.98
vm-103-disk-1_00 drbdpool Vwi-aotz-- 16.00g drbdthinpool 100.00
vm-103-disk-2_00 drbdpool Vwi-aotz-- 300.07g drbdthinpool 100.00
vm-104-disk-1_00 drbdpool Vwi-aotz-- 20.01g drbdthinpool 99.98
vm-104-disk-2_00 drbdpool Vwi-aotz-- 50.01g drbdthinpool 100.00
vm-106-disk-1_00 drbdpool Vwi-aotz-- 5.00g drbdthinpool 99.95
vm-107-disk-1_00 drbdpool Vwi-aotz-- 8.00g drbdthinpool 99.98
vm-107-disk-2_00 drbdpool Vwi-aotz-- 300.07g drbdthinpool 100.00
vm-110-disk-3_00 drbdpool Vwi-aotz-- 180.04g drbdthinpool 15.58

virt02 ~ # drbd-overview
0:.drbdctrl/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
1:.drbdctrl/1 Connected(2*) Secondary(2*) UpToDa/UpToDa
100:vm-103-disk-1/0 Connected(2*) Second/Primar UpToDa/UpToDa
101:vm-106-disk-1/0 Connected(2*) Second/Primar UpToDa/UpToDa
102:vm-102-disk-1/0 Connected(2*) Second/Primar UpToDa/UpToDa
103:vm-103-disk-2/0 Connected(2*) Second/Primar UpToDa/UpToDa
104:vm-104-disk-1/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
105:vm-104-disk-2/0 Connected(2*) Second/Primar UpToDa/UpToDa
107:vm-101-disk-2/0 Connected(2*) Second/Primar UpToDa/UpToDa
108:vm-107-disk-1/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
109:vm-107-disk-2/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
112:vm-110-disk-3/0 Connected(2*) Second/Primar Incons/UpToDa

Proxmox говорит, что у меня осталось около 100Г. Резервирование 2: Код: drbd: drbd1
nodes virt01,virt02
content images,rootdir
redundancy 2 Я пробовал drbdmanage update-pool. Размер drbdthinpool составляет 4ТБ. Я вижу, что lvs говорит, что используется 18% данных. Что не так? Заранее спасибо, hjjg

seventh

Guest

25.05.2016 06:16:00

Drbdmanage 0.96 выпущен в linbit! Посмотрите изменения в lvm_thinlv.py http://git.linbit.com/drbdmanage.gi...a97b6882dbc:/drbdmanage/storage/lvm_thinlv.py Теперь надеемся, что Proxmox добавит это обновление как можно скорее, чтобы мы могли начать тестировать drbd9 по-настоящему!

seventh

Guest

28.01.2016 17:00:00

Привет, у меня такая же проблема, как у тебя: LVs распределены по разным узлам по-разному. Я провел несколько тестов, которые, как я думаю, могут подтвердить мою теорию и, возможно, помочь сообществу. Сценарий 1: На узле 1 мы создаем виртуальную машину с ID 101. Жесткий диск vm-101-disk-1 создается непосредственно на хранилище DRBD. LV будет распределен по Data%: 0.05 на узле 1. Узел 1 начнёт синхронизацию ресурса DRBD с узлом 2. Как только синхронизация завершится, LV для диска vm-101-disk-1 на узле 2 покажет распределение Data%: 99.66 Код: root@node1:~# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
.drbdctrl_0 drbdpool -wi-ao---- 4.00m
.drbdctrl_1 drbdpool -wi-ao---- 4.00m
drbdthinpool drbdpool twi-aotz-- 1.69t 0.00 1.57
vm-101-disk-1_00 drbdpool Vwi-aotz-- 1.00g drbdthinpool 0.05

root@node2:~# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
.drbdctrl_0 drbdpool -wi-ao---- 4.00m
.drbdctrl_1 drbdpool -wi-ao---- 4.00m
drbdthinpool drbdpool twi-aotz-- 1.69t 0.06 1.68
vm-101-disk-1_00 drbdpool Vwi-aotz-- 1.00g drbdthinpool 99.66 Сценарий 2: На узле 1 мы создаем виртуальную машину с ID 102. Жесткий диск vm-102-disk-1 создается непосредственно на локальном хранилище. Теперь мы перемещаем диск из локального хранилища в хранилище DRBD. LV затем будет иметь распределение Data%: 99.66 на узле 1. Узел 1 начнет синхронизацию ресурса DRBD с узлом 2. Когда синхронизация завершится, LV для диска vm-102-disk-1 на узле 2 покажет распределение Data%: 99.66 Код: root@node1:~# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
.drbdctrl_0 drbdpool -wi-ao---- 4.00m
.drbdctrl_1 drbdpool -wi-ao---- 4.00m
drbdthinpool drbdpool twi-aotz-- 1.69t 0.06 1.69
vm-101-disk-1_00 drbdpool Vwi-aotz-- 1.00g drbdthinpool 0.05
vm-102-disk-1_00 drbdpool Vwi-aotz-- 1.00g drbdthinpool 99.66

root@node2:~# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
.drbdctrl_0 drbdpool -wi-ao---- 4.00m
.drbdctrl_1 drbdpool -wi-ao---- 4.00m
drbdthinpool drbdpool twi-aotz-- 1.69t 0.12 1.80
vm-101-disk-1_00 drbdpool Vwi-aotz-- 1.00g drbdthinpool 99.66
vm-102-disk-1_00 drbdpool Vwi-aotz-- 1.00g drbdthinpool 99.66 Заключение: кажется, что когда жесткие диски создаются напрямую на хранилище DRBD, распределение LV по данным будет некорректным. Поэтому на данный момент решение — создавать или восстанавливать диски на локальном хранилище, а затем перемещать их в хранилище DRBD. Команда "drbdmanage list-nodes" будет показывать разные значения для Pool Free, когда LVs не полностью распределены. Это проблема Proxmox или DRBD?

seventh

Guest

29.01.2016 11:08:00

Привет снова, похоже, проблема не в том, что они на разных процентах выделенных данных. Я выяснил, что не имеет значения, если drbdmanage list-nodes показывает разное Pool Free, причина, по которой LVM Data% отличается, заключается в том, что когда ты создаешь диск прямо в пуле drbd, он показывает только реально используемые данные для lvm на локальном узле, в то время как синхронизация на второй узел требует записи всей информации на lvm-диск. НО! Если я создаю диск на узле 1, который, например, 5 ГБ, LVM покажет 5 ГБ, но если я выполню "drbdmanage update-pool", а затем "drbdmanage list-nodes", "Pool Free" покажет, что используется примерно 15 ГБ для ресурса в 5 ГБ... Так drbdmanage считает неправильно или что? Я не хочу терять в три раза больше пространства на диске. Вот моя версия PVE: Код: root@node1:~# pveversion -v proxmox-ve: 4.1-34 (используемая версия ядра: 4.2.6-1-pve) pve-manager: 4.1-5 (используемая версия: 4.1-5/f910ef5c) pve-kernel-4.2.6-1-pve: 4.2.6-34 pve-kernel-4.2.2-1-pve: 4.2.2-16 lvm2: 2.02.116-pve2 corosync-pve: 2.3.5-2 libqb0: 0.17.2-1 pve-cluster: 4.0-31 qemu-server: 4.0-49 pve-firmware: 1.1-7 libpve-common-perl: 4.0-45 libpve-access-control: 4.0-11 libpve-storage-perl: 4.0-38 pve-libspice-server1: 0.12.5-2 vncterm: 1.2-1 pve-qemu-kvm: 2.5-3 pve-container: 1.0-39 pve-firewall: 2.0-15 pve-ha-manager: 1.0-19 ksm-control-daemon: 1.2-1 glusterfs-client: 3.7.6-1 lxc-pve: 1.1.5-6 lxcfs: 0.13-pve3 cgmanager: 0.39-pve1 criu: 1.6.0-1 zfsutils: 0.6.5-pve7~jessie drbdmanage: 0.91-1

seventh

Guest

02.02.2016 13:36:00

У кого-нибудь есть идеи, что может быть не так с отчетом drbdmanage pool free? Сейчас я не могу добавить новые диски, потому что drbdmanage говорит, что thinpool полный... Посмотрите ниже на команду LVS и drbdmanage list-nodes: Код: root@node1:/var/lib/drbd.d# drbdmanage n
+------------------------------------------------------------------------------------------------------------+
| Имя | Размер пула | Свободно в пуле | | Состояние |
|------------------------------------------------------------------------------------------------------------|
| node1 | 1776640 | 0 | | ok |
| node1 | 1776640 | 0 | | ok |
+------------------------------------------------------------------------------------------------------------+
root@node1:/var/lib/drbd.d# lvs
LV VG Атрибут Размер Пул Происх. Данные% Мета% Перенос Журнал Коп.%Синхр. Конверт.
vm-200-disk-1 backup -wi------- 2.24t
.drbdctrl_0 drbdpool -wi-ao---- 4.00m
.drbdctrl_1 drbdpool -wi-ao---- 4.00m
drbdthinpool drbdpool twi-aotz-- 1.69t 43.24 87.26
vm-100-disk-1_00 drbdpool Vwi-aotz-- 200.04g drbdthinpool 100.00
vm-100-disk-2_00 drbdpool Vwi-aotz-- 200.04g drbdthinpool 100.00
vm-104-disk-1_00 drbdpool Vwi-aotz-- 200.04g drbdthinpool 100.00
vm-200-disk-1_00 drbdpool Vwi-aotz-- 150.04g drbdthinpool 100.00
root pve -wi-ao---- 96.00g
swap pve -wi-ao---- 31.00g

argonius

Guest

23.02.2016 23:43:00

Привет, есть какие-то новости по этому поводу? Мы тоже столкнулись с этой проблемой, и я думаю, что команде Proxmox будет легко воспроизвести её в лаборатории. Думаю, на данный момент лучше использовать DRBD старым способом: DRBD + LVM Storage (без тонкого выделения).

argonius Guest	#7 0 23.02.2016 23:48:00 Этот ресурс может быть полезен: http://news.gmane.org/gmane.comp.linux.drbd

mmenaz

Guest

24.02.2016 11:14:00

Вздыхая, у меня такая же проблема, посмотрите на мои оставшиеся без ответа сообщения от вчера: https://forum.proxmox.com/threads/r...visioned-drbd9-storage-is-no-more-thin.26165/ https://forum.proxmox.com/threads/drbd9-replication-is-not-thin-on-replicated-node.26169/ Меня действительно пугает весь этот DRBD9, это мой первый кластер, и кажется, что мы остались один на один с проблемами. Я понимаю, что это "технический предварительный просмотр", но если они хотят это внедрить, им следует больше заботиться о решении возникающих вопросов.

mmenaz Guest	#9 0 24.02.2016 15:12:00 wondering if 9.0.1 (and utils 8.9.6) can solve some of the above problems, seems that the "thin" thing is just supported there: http://www.gossamer-threads.com/lists/drbd/announce/27742 but maybe this thread is interesting too http://www.gossamer-threads.com/lists/drbd/users/27722

mmenaz

Guest

#10

09.12.2016 12:09:00

В репозитории есть версия 0.97.3-1, но после обновления расчёт всё равно неверный. Есть ли команда, которую нужно запустить, чтобы всё "пересчитать", или что-то ещё нужно сделать? У меня должно быть достаточно свободного места, но сообщается, что его нет, и у меня возникнут проблемы, если мне придётся создать ещё несколько ВМ или увеличить виртуальный диск!

seventh

Guest

#11

26.02.2016 15:25:00

Привет, ребята! Хотел бы сообщить, что решил свою проблему с drbdthinpool, использовав плагин хранения lvm.Lvm вместо lvm_thinlv.LvmThinLv. Более подробную информацию можно найти здесь http://drbd.linbit.com/users-guide-9.0/s-drbdmanage-storage-plugins.html. Сначала убедитесь, что кластер запущен и работает, или настроены SSH-ключи. В моем примере ниже два узла: PVE1 с IP: 10.255.255.2 и PVE2 с IP: 10.255.255.4. Если вы хотите использовать VG как пул, выполните следующее: PVE1 и PVE2: Код: sed -i "s/lvm_thinlv.LvmThinLv/lvm.Lvm/g" /usr/lib/python2.7/dist-packages/drbdmanage/server.py
vgcreate drbdpool /dev/sdX PVE1: Код: drbdmanage init 10.255.255.2
drbdmanage add-node pve2 10.255.255.4. Добавьте следующее в /etc/pve/storage.cfg: Код: drbd: drbd1
content images,rootdir
redundancy 2 Теперь у вас должен быть VG под названием drbdpool, на котором ваши ресурсы drbd будут хранить lvm напрямую. С уважением, seventh

mmenaz Guest	#12 0 26.02.2016 18:19:00 Интересно, если бы не установить пакет thin-provisioning-tools, был бы тот же эффект. Короче говоря, похоже, что тонкоеProvisioning сейчас серьезно не работает, лучше его избегать.

resoli Guest	#13 0 28.04.2016 16:28:00 Возможно, эта глава из drbd9 может добавить немного информации: https://www.drbd.org/en/doc/users-guide-90/s-drbdmanage-storage-plugins И также предыдущая: https://www.drbd.org/en/doc/users-guide-90/ch-drbdmanage-more#s-drbdmanage-free-space Пока, Роб

Stefanauss

Guest

#14

28.04.2016 18:21:00

Очевидно, это будет перезаписано при каждом обновлении drbdmanage, и тогда DRBD не сможет работать с drbdpool, потому что не найдет ни одного LVM thinpool. Я сделал замену перед созданием кластера, а затем изменил глобальную конфигурацию с помощью команды: drbdmanage modify-config # и раскомментировал настройку плагина хранения apt-get install --reinstall drbdmanage -y # drbd все еще работает, и он использует классический LVM.

argonius

Guest

#15

28.04.2016 22:09:00

Привет, ребята, последние посты выглядят очень интересно. Каков вывод на данный момент? Использовать DRBD9 с драйвером lvm.lvm вместо lvm_thinlv.LvmThinLv безопасно? Я думаю, что пока Proxmox говорит, что использование DRBD 9 — это "предварительный обзор", а Linbit на странице FAQ DRBD9 говорит: "Это предварительная версия, не предназначенная для использования в производстве. Пожалуйста, пока не сообщайте об ошибках, мы знаем, что нужно еще много сделать." (https://www.linbit.com/en/resources...1-en/products-and-services/drbd/250-drbd9-faq) лучше оставаться на DRBD 8.

seventh

Guest

#16

29.04.2016 13:13:00

Спасибо за подсказку! У меня есть вопрос по поводу части drbdmanage modify-config. Когда я раскомментирую плагин хранения и сохраняю/выходю, у меня появляется сообщение: Код: Невозможно разобрать конфигурацию, ваши изменения не будут сохранены. У вас есть идея, почему я не могу сохранить изменения?

Stefanauss

Guest

#17

29.04.2016 13:26:00

На самом деле, у меня такого никогда не было. Это происходит, если ты также пытаешься раскомментировать другие настройки по умолчанию, такие как максимальное количество пиров? (Это не повлияет на работу кластера, если ты раньше не менял настройки по умолчанию, так что можешь попробовать).

seventh Guest	#18 0 29.04.2016 13:38:00 Да, это тоже происходит на max-peers...

resoli Guest	#19 0 19.05.2016 13:47:00 Неправильный расчет свободного места должен быть исправлен в drbdmanage 0.96: http://lists.linbit.com/pipermail/drbd-user/2016-May/022937.html

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры