Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    PVE с glusterfs в качестве общего хранилища и "Файловая система становится только для чтения"/При загрузке., Proxmox Виртуальная Среда
     
    Apollon77
    Guest
    #1
    0
    20.09.2019 16:50:00
    Привет всем, я использую PVE 5.x (обновление до 6.x откладывается, пока не решатся проблемы с corosync) с 7-узловым HA-кластером. На узлах, кроме PVE, также установлен glusterfs (с 3-кратной репликацией) в качестве общей файловой системы. В общем, всё работает хорошо. Проблемы начинаются, если glusterfs становится доступным только для чтения по каким-то причинам. Тогда виртуальные машины просто зависают, и выключить их тоже не получается. Я попробовал все возможные опции PVE, такие как сброс и тому подобное, что мне известно. В основном я прихожу к "жесткому" варианту: нажимаю стоп, а затем вручную убиваю процесс kvm на машине. Есть ли шанс, что такая функция "убить" будет добавлена в PVE? Или есть какие-либо настройки для KVM/Qemu, которые я могу сделать, чтобы лучше справляться с ситуациями, когда "базовая файловая система стала доступной только для чтения"? Особенно, учитывая, что она оставалась доступной только для чтения даже после восстановления работы GlusterFS. Решение, которое автоматически исправляет такое состояние, тоже очень помогло бы в наборе функций HA. Инго
     
     
     
    Dominic
    Guest
    #2
    0
    04.11.2019 09:47:00
    Это значит, что ты нажал «стоп» на своем хосте, но это не сработало (как отключение), и поэтому тебе пришлось завершить процесс?
     
     
     
    Apollon77
    Guest
    #3
    0
    04.11.2019 18:05:00
    Да, верно. Я пробовал "Стоп"... также "Сброс" через некоторое время... но процесс не завершился, пока я не завершил его вручную (или 20-30 минут было недостаточно времени). И кстати: я использую функцию HA, так что менеджер HA тоже участвует в остановке ВМ.
     
     
     
    Dominic
    Guest
    #4
    0
    11.11.2019 11:56:00
    Есть ли возможность сузить проблему? Я установил GlusterFS на виртуальном кластере PVE 6 из трех узлов и запустил ВМ, которая хранится на объеме Gluster. Затем я выполнил команду: gluster volume set gv0 features.read-only on. При этом попытка выключить ВМ через GUI не удалась: TASK ERROR: VM quit/powerdown failed - истекло время ожидания, а на самом деле ВМ действительно остановилась, и процесс KVM тоже исчез.
     
     
     
    Apollon77
    Guest
    #5
    0
    11.11.2019 12:33:00
    Конечно: Убедитесь, что glusterfs теряет клиентское кворум. Когда у вас есть кластер из трех узлов (настроенный как реплика 2 или подобным образом) и вы затем выключаете две машины... то он теряет клиентское кворум и все должно заблокироваться. Затем (в моих случаях это были просто перезагрузки watchdog, но с плохим таймингом) обе машины снова включились, и кворум снова оказался в наличии... ВМ все равно были заблокированы. Поэтому лучший способ: - Убить две машины... вы должны увидеть, что файловая система переходит в режим только для чтения в ВМ или подобном - Затем снова запустите машины, чтобы вернуть glusterfs - Попробуйте перезапустить ВМ. Кстати, один случай, который у меня был, заключался в том, что одна ВМ вырубилась и "перезагрузилась" из-за проблем с файловой системой, а затем попала в бесконечный цикл загрузки, потому что файловая система была только для чтения... но и это произошло после того, как glusterfs снова начал работать. Поэтому еще одной вещью, которую можно попробовать, может быть "запустить ВМ, пока две машины выключены"... Для меня это была pve 5 до сих пор... сейчас я готовлюсь перейти на 6 в ближайшее время.
     
     
     
    Dominic
    Guest
    #6
    0
    13.11.2019 12:28:00
    Я создал кластер из трех узлов с объемом Gluster и репликацией. Один из узлов имеет две виртуальные машины на этом объеме. Остановка двух других узлов привела к ошибкам ввода-вывода и к файловой системе только для чтения, когда я хотел что-то сделать в виртуальных машинах. Однако после запуска узлов и остановки и перезапуска виртуальных машин все, похоже, вернулось к норме. Не могли бы вы выложить следующее: Code: gluster volume info gluster volume get YOUR_VOLUME all | grep quorum
     
     
     
    Apollon77
    Guest
    #7
    0
    13.11.2019 13:02:00
    Может быть, обновленный Qemu, kvm и подобные в PVE 6 лучше реагируют на такие случаи, как в PVE 5? Код: root@pm1:~# gluster volume info

    Имя тома: gv0  
    Тип: Распределенный-Репликация  
    Идентификатор тома: 64651501-6df2-4106-b330-fdb3e1fbcdf4  
    Статус: Запущен  
    Количество снимков: 0  
    Количество кирпичей: 5 x 3 = 15  
    Тип транспорта: tcp  
    Кирпичи:  
    Кирпич1: 192.168.178.50:/gluster/brick1/gv0  
    Кирпич2: 192.168.178.76:/gluster/brick1/gv0  
    Кирпич3: 192.168.178.96:/gluster/brick2/gv0  
    Кирпич4: 192.168.178.50:/gluster/brick2/gv0  
    Кирпич5: 192.168.178.81:/gluster/brick1/gv0  
    Кирпич6: 192.168.178.94:/gluster/brick1/gv0  
    Кирпич7: 192.168.178.50:/gluster/brick3/gv0  
    Кирпич8: 192.168.178.82:/gluster/brick1/gv0  
    Кирпич9: 192.168.178.94:/gluster/brick2/gv0  
    Кирпич10: 192.168.178.50:/gluster/brick4/gv0  
    Кирпич11: 192.168.178.95:/gluster/brick1/gv0  
    Кирпич12: 192.168.178.94:/gluster/brick3/gv0  
    Кирпич13: 192.168.178.50:/gluster/brick5/gv0  
    Кирпич14: 192.168.178.96:/gluster/brick1/gv0  
    Кирпич15: 192.168.178.94:/gluster/brick4/gv0  
    Опции, переработанные:  
    storage.fips-mode-rchecksum: включено  
    cluster.choose-local: выключено  
    user.cifs: выключено  
    features.shard: включено  
    cluster.shd-wait-qlength: 10000  
    cluster.shd-max-threads: 4  
    cluster.locking-scheme: гранулярный  
    cluster.data-self-heal-algorithm: diff  
    cluster.server-quorum-type: сервер  
    cluster.quorum-type: авто  
    cluster.eager-lock: включить  
    network.remote-dio: включить  
    performance.low-prio-threads: 32  
    performance.io-cache: выключено  
    performance.read-ahead: выключено  
    performance.quick-read: выключено  
    performance.client-io-threads: выключено  
    nfs.disable: включено  
    transport.address-family: inet  
    cluster.granular-entry-heal: включить  

    root@pm1:~# gluster volume get gv0 all | grep quorum  
    cluster.quorum-type                     авто  
    cluster.quorum-count                    (null)  
    cluster.server-quorum-type              сервер  
    cluster.server-quorum-ratio             0  
    cluster.quorum-reads                    нет
     
     
     
    Apollon77
    Guest
    #8
    0
    13.11.2019 13:03:00
    PS: Моя проблема заключалась в том, что после появления ошибок ввода-вывода остановка KVM не удалась.
     
     
     
    Dominic
    Guest
    #9
    0
    14.11.2019 12:06:00
    Я все еще использую тип "Replicated" вместо "Distributed-Replicated", но те же настройки кворума для моего кластера Gluster. Пока что остановка ВМ по-прежнему отлично работает, когда файловая система становится только для чтения и возникают ошибки ввода-вывода. Может быть.
     
     
     
    Apollon77
    Guest
    #10
    0
    14.11.2019 12:23:00
    Я уже обновил 3 из 7 узлов до PVE6... остальные обновлю в следующие дни... тогда смогу снова всё проверить...
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры