http://proxmox.su Новое в теме PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 03 May 2026 10:35:47 +0300 PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я уже обновил 3 из 7 узлов до PVE6... остальные обновлю в следующие дни... тогда смогу снова всё проверить...
14.11.2019 12:23:00, Apollon77.]]> http://proxmox.su/forum/messages/forum63/message356340/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356340/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Thu, 14 Nov 2019 12:23:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я все еще использую тип "Replicated" вместо "Distributed-Replicated", но те же настройки кворума для моего кластера Gluster. Пока что остановка ВМ по-прежнему отлично работает, когда файловая система становится только для чтения и возникают ошибки ввода-вывода. Может быть.
14.11.2019 12:06:00, Dominic.]]> http://proxmox.su/forum/messages/forum63/message356339/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356339/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Thu, 14 Nov 2019 12:06:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
PS: Моя проблема заключалась в том, что после появления ошибок ввода-вывода остановка KVM не удалась.
13.11.2019 13:03:00, Apollon77.]]> http://proxmox.su/forum/messages/forum63/message356338/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356338/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Wed, 13 Nov 2019 13:03:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может быть, обновленный Qemu, kvm и подобные в PVE 6 лучше реагируют на такие случаи, как в PVE 5? Код: root@pm1:~# gluster volume info

Имя тома: gv0  
Тип: Распределенный-Репликация  
Идентификатор тома: 64651501-6df2-4106-b330-fdb3e1fbcdf4  
Статус: Запущен  
Количество снимков: 0  
Количество кирпичей: 5 x 3 = 15  
Тип транспорта: tcp  
Кирпичи:  
Кирпич1: 192.168.178.50:/gluster/brick1/gv0  
Кирпич2: 192.168.178.76:/gluster/brick1/gv0  
Кирпич3: 192.168.178.96:/gluster/brick2/gv0  
Кирпич4: 192.168.178.50:/gluster/brick2/gv0  
Кирпич5: 192.168.178.81:/gluster/brick1/gv0  
Кирпич6: 192.168.178.94:/gluster/brick1/gv0  
Кирпич7: 192.168.178.50:/gluster/brick3/gv0  
Кирпич8: 192.168.178.82:/gluster/brick1/gv0  
Кирпич9: 192.168.178.94:/gluster/brick2/gv0  
Кирпич10: 192.168.178.50:/gluster/brick4/gv0  
Кирпич11: 192.168.178.95:/gluster/brick1/gv0  
Кирпич12: 192.168.178.94:/gluster/brick3/gv0  
Кирпич13: 192.168.178.50:/gluster/brick5/gv0  
Кирпич14: 192.168.178.96:/gluster/brick1/gv0  
Кирпич15: 192.168.178.94:/gluster/brick4/gv0  
Опции, переработанные:  
storage.fips-mode-rchecksum: включено  
cluster.choose-local: выключено  
user.cifs: выключено  
features.shard: включено  
cluster.shd-wait-qlength: 10000  
cluster.shd-max-threads: 4  
cluster.locking-scheme: гранулярный  
cluster.data-self-heal-algorithm: diff  
cluster.server-quorum-type: сервер  
cluster.quorum-type: авто  
cluster.eager-lock: включить  
network.remote-dio: включить  
performance.low-prio-threads: 32  
performance.io-cache: выключено  
performance.read-ahead: выключено  
performance.quick-read: выключено  
performance.client-io-threads: выключено  
nfs.disable: включено  
transport.address-family: inet  
cluster.granular-entry-heal: включить  

root@pm1:~# gluster volume get gv0 all | grep quorum  
cluster.quorum-type                     авто  
cluster.quorum-count                    (null)  
cluster.server-quorum-type              сервер  
cluster.server-quorum-ratio             0  
cluster.quorum-reads                    нет
13.11.2019 13:02:00, Apollon77.]]> http://proxmox.su/forum/messages/forum63/message356337/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356337/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Wed, 13 Nov 2019 13:02:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я создал кластер из трех узлов с объемом Gluster и репликацией. Один из узлов имеет две виртуальные машины на этом объеме. Остановка двух других узлов привела к ошибкам ввода-вывода и к файловой системе только для чтения, когда я хотел что-то сделать в виртуальных машинах. Однако после запуска узлов и остановки и перезапуска виртуальных машин все, похоже, вернулось к норме. Не могли бы вы выложить следующее: Code: gluster volume info gluster volume get YOUR_VOLUME all | grep quorum
13.11.2019 12:28:00, Dominic.]]> http://proxmox.su/forum/messages/forum63/message356336/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356336/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Wed, 13 Nov 2019 12:28:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Конечно: Убедитесь, что glusterfs теряет клиентское кворум. Когда у вас есть кластер из трех узлов (настроенный как реплика 2 или подобным образом) и вы затем выключаете две машины... то он теряет клиентское кворум и все должно заблокироваться. Затем (в моих случаях это были просто перезагрузки watchdog, но с плохим таймингом) обе машины снова включились, и кворум снова оказался в наличии... ВМ все равно были заблокированы. Поэтому лучший способ: - Убить две машины... вы должны увидеть, что файловая система переходит в режим только для чтения в ВМ или подобном - Затем снова запустите машины, чтобы вернуть glusterfs - Попробуйте перезапустить ВМ. Кстати, один случай, который у меня был, заключался в том, что одна ВМ вырубилась и "перезагрузилась" из-за проблем с файловой системой, а затем попала в бесконечный цикл загрузки, потому что файловая система была только для чтения... но и это произошло после того, как glusterfs снова начал работать. Поэтому еще одной вещью, которую можно попробовать, может быть "запустить ВМ, пока две машины выключены"... Для меня это была pve 5 до сих пор... сейчас я готовлюсь перейти на 6 в ближайшее время.
11.11.2019 12:33:00, Apollon77.]]> http://proxmox.su/forum/messages/forum63/message356335/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356335/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Mon, 11 Nov 2019 12:33:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть ли возможность сузить проблему? Я установил GlusterFS на виртуальном кластере PVE 6 из трех узлов и запустил ВМ, которая хранится на объеме Gluster. Затем я выполнил команду: gluster volume set gv0 features.read-only on. При этом попытка выключить ВМ через GUI не удалась: TASK ERROR: VM quit/powerdown failed - истекло время ожидания, а на самом деле ВМ действительно остановилась, и процесс KVM тоже исчез.
11.11.2019 11:56:00, Dominic.]]> http://proxmox.su/forum/messages/forum63/message356334/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356334/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Mon, 11 Nov 2019 11:56:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, верно. Я пробовал "Стоп"... также "Сброс" через некоторое время... но процесс не завершился, пока я не завершил его вручную (или 20-30 минут было недостаточно времени). И кстати: я использую функцию HA, так что менеджер HA тоже участвует в остановке ВМ.
04.11.2019 18:05:00, Apollon77.]]> http://proxmox.su/forum/messages/forum63/message356333/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356333/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Mon, 04 Nov 2019 18:05:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это значит, что ты нажал «стоп» на своем хосте, но это не сработало (как отключение), и поэтому тебе пришлось завершить процесс?
04.11.2019 09:47:00, Dominic.]]> http://proxmox.su/forum/messages/forum63/message356332/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356332/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Mon, 04 Nov 2019 09:47:00 +0300 Proxmox Виртуальная Среда PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем, я использую PVE 5.x (обновление до 6.x откладывается, пока не решатся проблемы с corosync) с 7-узловым HA-кластером. На узлах, кроме PVE, также установлен glusterfs (с 3-кратной репликацией) в качестве общей файловой системы. В общем, всё работает хорошо. Проблемы начинаются, если glusterfs становится доступным только для чтения по каким-то причинам. Тогда виртуальные машины просто зависают, и выключить их тоже не получается. Я попробовал все возможные опции PVE, такие как сброс и тому подобное, что мне известно. В основном я прихожу к "жесткому" варианту: нажимаю стоп, а затем вручную убиваю процесс kvm на машине. Есть ли шанс, что такая функция "убить" будет добавлена в PVE? Или есть какие-либо настройки для KVM/Qemu, которые я могу сделать, чтобы лучше справляться с ситуациями, когда "базовая файловая система стала доступной только для чтения"? Особенно, учитывая, что она оставалась доступной только для чтения даже после восстановления работы GlusterFS. Решение, которое автоматически исправляет такое состояние, тоже очень помогло бы в наборе функций HA. Инго
20.09.2019 16:50:00, Apollon77.]]> http://proxmox.su/forum/messages/forum63/message356331/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. http://proxmox.su/forum/messages/forum63/message356331/81341-pve-s-glusterfs-v-kachestve-obshchego-khranilishcha-i-_faylovaya-sistema-stanovitsya-tolko-dlya-chteniya_pri-zagruzke. Fri, 20 Sep 2019 16:50:00 +0300 Proxmox Виртуальная Среда