+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

GlusterFS — все подтома вниз при создании ВМ., Proxmox Виртуальная Среда

chchang

Guest

04.06.2019 08:54:00

Я добавил Gluster storage в свой Proxmox кластер (4 ноды). GlusterFS том монтируется, но когда я пытаюсь клонировать из шаблона в storage, всегда возникает какая-то ошибка, например, вот такая:

Code: root@pve:~# qm clone 200 189 --name test.glusterfs --full --storage testglusterfs
create full clone of drive virtio0 (seventeraonfreenas10gnetwork:200/base-200-disk-0.qcow2)
[2019-06-04 06:45:35.948617] E [MSGID: 108006] [afr-common.c:4404:afr_notify] 0-datavol-replicate-0: All subvolumes are down. Going offline until atleast one of them comes back up.
^C[2019-06-04 06:45:35.948675] E [MSGID: 108006] [afr-common.c:4404:afr_notify] 0-datavol-replicate-1: All subvolumes are down. Going offline until atleast one of them comes back up.

Но я могу записывать файлы в storage.

Code: root@pve:/mnt/pve/testglusterfs/images# dd if=/dev/zero of=testfile bs=1k count=1M status=progress
1050831872 bytes (1.1 GB, 1002 MiB) copied, 44 s, 23.9 MB/s
1048576+0 records in
1048576+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 44.9724 s, 23.9 MB/s

И если я пытаюсь смонтировать storage с другой рабочей станции, то монтируется и можно читать/писать. Есть какие-нибудь предположения?

Dominic

Guest

21.07.2021 11:46:00

Привет, не мог бы ты выложить вывод команды Code: pveversion -v и точный лог ошибки при неудачной попытке восстановления? У меня с Code: pve-manager/7.0-10/d2f465d3 (ядро: 5.11.22-2-pve) восстановление резервных копий с GlusterFS storage работает. Отображается сообщение "subvolumes down", но вроде бы ничего страшного.

lukakovacica

Guest

02.08.2019 16:47:00

Я получаю абсолютно такое же сообщение, когда пытаюсь создать ВМ или мигрировать хранилище ВМ на том GlusterFS том. Вывод: Код: создать полный клон диска scsi0 (storage:vm-208-disk-0)
[2019-08-02 14:19:43.005478] E [MSGID: 108006] [afr-common.c:5318:__afr_handle_child_down_event] 0-backupvol-replicate-0: Все подтома отключены. Выхожу из строя до тех пор, пока хотя бы один из них не заработает снова.
[2019-08-02 14:19:43.005872] I [io-stats.c:4027:fini] 0-backupvol: io-stats translator выгружен
TASK ERROR: миграция хранилища не удалась: ошибка с cfs lock 'storage-backupvol': не удалось создать образ: прервано сигналом

pukkita

Guest

22.08.2019 17:31:00

Вот перевод текста сообщения:

Same here... вот что получилось при успешном восстановлении в VM:
Код: restore vma archive: lzop -d -c /mnt/pve/SHAREDBACKUP/dump/vzdump-qemu-101-2019_08_22-00_00_01.vma.lzo | vma extract -v -r /var/tmp/vzdumptmp30653.fifo - /var/tmp/vzdumptmp30653
CFG: size: 609 name: qemu-server.conf
DEV: dev_id=1 size: 34359738368 devname: drive-scsi0
DEV: dev_id=2 size: 322122547200 devname: drive-scsi1
CTIME: Thu Aug 22 00:00:05 2019
[2019-08-22 15:00:37.251311] E [MSGID: 108006] [afr-common.c:5314:__afr_handle_child_down_event] 0-SHARED-replicate-0: Все подтомы неактивны. Переходим в оффлайн, пока хотя бы одна из них не заработает.
Форматирование 'gluster://pve2/SHARED/images/101/vm-101-disk-0.qcow2', fmt=qcow2 size=34359738368 cluster_size=65536 preallocation=metadata lazy_refcounts=off refcount_bits=16
[2019-08-22 15:00:39.209448] E [MSGID: 108006] [afr-common.c:5314:__afr_handle_child_down_event] 0-SHARED-replicate-0: Все подтомы неактивны. Переходим в оффлайн, пока хотя бы одна из них не заработает.
Новый идентификатор тома 'GlusterFS:101/vm-101-disk-0.qcow2'
Сопоставление 'drive-scsi0' с 'gluster://pve2/SHARED/images/101/vm-101-disk-0.qcow2' (запись нулей = 0)
[2019-08-22 15:00:40.302453] E [MSGID: 108006] [afr-common.c:5314:__afr_handle_child_down_event] 0-SHARED-replicate-0: Все подтомы неактивны. Переходим в оффлайн, пока хотя бы одна из них не заработает.
Форматирование 'gluster://pve2/SHARED/images/101/vm-101-disk-1.qcow2', fmt=qcow2 size=322122547200 cluster_size=65536 preallocation=metadata lazy_refcounts=off refcount_bits=16
[2019-08-22 15:00:50.203964] E [MSGID: 108006] [afr-common.c:5314:__afr_handle_child_down_event] 0-SHARED-replicate-0: Все подтомы неактивны. Переходим в оффлайн, пока хотя бы одна из них не заработает.
Новый идентификатор тома 'GlusterFS:101/vm-101-disk-1.qcow2'
Сопоставление 'drive-scsi1' с 'gluster://pve2/SHARED/images/101/vm-101-disk-1.qcow2' (запись нулей = 0)
Прогресс 1% (прочитано 3564830720 байт, продолжительность 14 сек)
[snip]
Код: root@pve1:~# gluster volume status

Статус тома: BACKUP
Gluster-процесс TCP-порт RDMA-порт Онлайн PID
------------------------------------------------------------------------------
Кирпич pve1:/BackVMs 49152 0 Y 3260
Кирпич pve2:/BackVMs 49152 0 Y 3470
Кирпич pve3:/BackVMs 49152 0 Y 4359

Самовосстанавливающий демон на localhost N/A N/A Y 3350
Самовосстанавливающий демон на 10.0.100.93 N/A N/A Y 4377
Самовосстанавливающий демон на 10.0.100.92 N/A N/A Y 3548

Статус задач тома BACKUP
------------------------------------------------------------------------------
Активных задач тома нет

Статус тома: SHARED
Gluster-процесс TCP-порт RDMA-порт Онлайн PID
------------------------------------------------------------------------------
Кирпич pve1:/RunVMs 49153 0 Y 3295
Кирпич pve2:/RunVMs 49153 0 Y 3486
Кирпич pve3:/RunVMs 49153 0 Y 4368

Самовосстанавливающий демон на localhost N/A N/A Y 3350
Самовосстанавливающий демон на 10.0.100.93 N/A N/A Y 4377
Самовосстанавливающий демон на 10.0.100.92 N/A N/A Y 3548

Статус задач тома SHARED
------------------------------------------------------------------------------
Активных задач тома нет

root@pve1:~# gluster volume info

Имя тома: BACKUP
Тип: Replicate
Идентификатор тома: a8c1f419-4445-423a-a4c7-fb3b82195eba
Статус: Запущен
Количество снимков: 0
Количество кирпичей: 1 x 3 = 3
Тип транспорта: tcp

Кирпичи:
Кирпич1: pve1:/BackVMs
Кирпич2: pve2:/BackVMs
Кирпич3: pve3:/BackVMs

Переконфигурированные параметры:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

Имя тома: SHARED
Тип: Replicate
Идентификатор тома: 538d994b-2de3-43f8-b77c-7a9ba1143ebc
Статус: Запущен
Количество снимков: 0
Количество кирпичей: 1 x 3 = 3
Тип транспорта: tcp

Кирпичи:
Кирпич1: pve1:/RunVMs
Кирпич2: pve2:/RunVMs
Кирпич3: pve3:/RunVMs

Переконфигурированные параметры:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

Dominic Guest	#5 0 23.08.2019 11:14:00 Какие версии у тебя установлены? Для PVE клиентов используй команду: `pveversion -v`. Если на хосте есть `dpkg`, используй `dpkg -l \| grep gluster` или, если это недоступно, просто `gluster --version`.

pukkita

Guest

23.08.2019 11:38:00

Code: root@pve1:~# pveversion -v
proxmox-ve: 6.0-2 (running kernel: 5.0.15-1-pve)
pve-manager: 6.0-4 (running version: 6.0-4/2a719255)
pve-kernel-5.0: 6.0-5
pve-kernel-helper: 6.0-5
pve-kernel-5.0.15-1-pve: 5.0.15-1
ceph-fuse: 12.2.11+dfsg1-2.1
corosync: 3.0.2-pve2
criu: 3.11-3
glusterfs-client: 5.5-3
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.10-pve2~test1
libpve-access-control: 6.0-2
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-2
libpve-guest-common-perl: 3.0-1
libpve-http-server-perl: 3.0-2
libpve-storage-perl: 6.0-5
libqb0: 1.0.5-1
lvm2: 2.03.02-pve3
lxc-pve: 3.1.0-61
lxcfs: 3.0.3-pve60
novnc-pve: 1.0.0-60
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.0-5
pve-cluster: 6.0-4
pve-container: 3.0-3
pve-docs: 6.0-4
pve-edk2-firmware: 2.20190614-1
pve-firewall: 4.0-5
pve-firmware: 3.0-2
pve-ha-manager: 3.0-2
pve-i18n: 2.0-2
pve-qemu-kvm: 4.0.0-3
pve-xtermjs: 3.13.2-1
qemu-server: 6.0-5
smartmontools: 7.0-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.1-pve1

Code: root@pve1:~# dpkg -l |grep gluster
ii glusterfs-client 5.5-3 amd64 clustered file-system (client package)
ii glusterfs-common 5.5-3 amd64 GlusterFS common libraries and translator modules
ii glusterfs-server 5.5-3 amd64 clustered file-system (server package)
ii libglusterfs-dev 5.5-3 amd64 Development files for GlusterFS libraries
ii libglusterfs0:amd64 5.5-3 amd64 GlusterFS shared library

Только что обнаружил, что есть обновления (не настроил правильно репозиторий без подписки 6.0), сейчас обновляю...

Dominic

Guest

23.08.2019 13:26:00

Спасибо всем, что обратили на это внимание! Я смог воспроизвести большинство ваших проблем: создание полных клонов шаблонов, перемещение дисков, восстановление ВМ с Gluster в качестве целевого хранилища — все выдает одну и ту же ошибку. Это происходит как в версии @pukkita (proxmox-ve: 6.0-2 (running kernel: 5.0.15-1-pve)), так и в обновлениях из no-subscription (proxmox-ve: 6.0-2 (running kernel: 5.0.18-1-pve)), что и не удивительно, так как с тех пор было применено только одно несвязанное изменение, касающееся Gluster. Единственное исключение, что моя задача клонирования прошла успешно, хотя и появилось сообщение об ошибке. Существует похожий баг, который уже был зарегистрирован. Я добавил больше деталей. Вы можете добавить себя в список получателей копии (CC). Я думаю, что это связано с этим багом.

andrea68

Guest

09.05.2021 08:51:00

У меня 4 ноды с gluster, и похожие проблемы... Не могу восстановить ни одну ВМ, за которую сделана резервная копия на мой gluster volume. Одна и та же ошибка: "Все подтома недоступны. Выхожу из сети до тех пор, пока хотя бы один из них не заработает". У меня последняя версия PVE и proxmox. Тот факт, что я не могу восстановить НИ ОДНУ из своих ВМ из резервной копии, кажется мне очень серьезной проблемой. Я ничего не могу с этим сделать? Спасибо.

zemzema Guest	#9 0 19.07.2021 08:21:00 У меня та же проблема. У кого-нибудь есть решение?

Christophorus Reyhan

Guest

#10

22.03.2024 10:54:00

Кажется, всё ещё существует.

Bash: [2024-03-22 09:46:49.729254 +0000] I [io-stats.c:3706:ios_sample_buf_size_configure] 0-gv0: Размер буфера выборки ввода-вывода ios_sample_buf установлен в 1024, потому что интервал выборки ios_sample_interval равен 0.
[2024-03-22 09:46:51.541665 +0000] E [MSGID: 108006] [afr-common.c:6140:__afr_handle_child_down_event] 0-gv0-replicate-0: Все подтома оказались недоступны. Перехожу в автономный режим, пока хотя бы один из них не вернется в строй.
[2024-03-22 09:46:59.730966 +0000] I [io-stats.c:4038:fini] 0-gv0: Интерпретатор io-stats выгружен.
Bash: $ gluster --version
glusterfs 9.2
Bash: $ pveversion -v
proxmox-ve: 7.4-1 (ядро: 5.15.102-1-pve)
pve-manager: 7.4-3 (версия: 7.4-3/9002ab8a)
pve-kernel-5.15: 7.3-3
pve-kernel-5.15.102-1-pve: 5.15.102-1
ceph-fuse: 15.2.17-pve1
corosync: 3.1.7-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.24-pve2
libproxmox-acme-perl: 1.4.4
libproxmox-backup-qemu0: 1.3.1-1
libproxmox-rs-perl: 0.2.1
libpve-access-control: 7.4-1
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.3-3
libpve-guest-common-perl: 4.2-4
libpve-http-server-perl: 4.2-1
libpve-rs-perl: 0.7.5
libpve-storage-perl: 7.4-2
libqb0: некорректно установлена
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 5.0.2-2
lxcfs: 5.0.3-pve1
novnc-pve: 1.4.0-1
proxmox-backup-client: 2.3.3-1
proxmox-backup-file-restore: 2.3.3-1
proxmox-kernel-helper: 7.4-1
proxmox-mail-forward: 0.1.1-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.6.3
pve-cluster: 7.3-3
pve-container: 4.4-3
pve-docs: 7.4-2
pve-edk2-firmware: 3.20221111-1
pve-firewall: 4.3-1
pve-firmware: 3.6-4
pve-ha-manager: 3.6.0
pve-i18n: 2.11-1
pve-qemu-kvm: 7.2.0-8
pve-xtermjs: 4.16.0-1
qemu-server: 7.4-2
smartmontools: 7.2-pve3
spiceterm: 3.2-2
swtpm: 0.8.0~bpo11+3
vncterm: 1.7-1
zfsutils-linux: 2.1.9-pve1

Christophorus Reyhan Guest	#11 0 22.03.2024 12:12:00 Возможно, связано с этой проблемой. Может, дело в gluster + qemu?

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры