Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    PVE зависает, если corosync работает медленно.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    PVE зависает, если corosync работает медленно., Proxmox Виртуальная Среда
     
    jonasled
    Guest
    #1
    0
    01.01.2023 13:42:00
    Привет, у меня есть PVE-кластер с 5 узлами. На одном из них сегодня вечером наблюдались очень медленные операции ввода-вывода на корневом диске. Это замедлило работы corosync, и в итоге Volume стал недоступен на всех узлах. (Папка все еще была на месте, но, например, команда ls так и не выдала результата). Проблема заключалась в том, что несколько задач ожидали ответов от кластерного хранилища. Это привело к зависанию, а затем к полному краху всех узлов в кластере. Есть ли какое-либо решение, чтобы это не повторилось в будущем?
     
     
     
    Realtox
    Guest
    #2
    0
    26.04.2023 09:48:00
    Привет, @jonasled! Какую версию ты используешь (pveversion)? И можешь рассказать, как выглядит сбой?
     
     
     
    jonasled
    Guest
    #3
    0
    26.04.2023 09:54:00
    Хост вырубается без записи ядрового паники и перезагружается. Я загрузил системный журнал за последние минуты перед сбоем вот сюда: https://paste.jonasled.de/atakemitew
     
     
     
    fabian
    Guest
    #4
    0
    26.04.2023 10:04:00
    У вас была включена высокодоступная (HA) система, но проблемы с вашей сетью привели к сбою corosync и, следовательно, к отключению /etc/pve, из-за чего узел был изолирован: Код: 25 апр. 21:25:24 pve-router-01 pmxcfs[5090]: [dcdb] уведомление: cpg_send_message повторная попытка 10 ... 25 апр. 21:26:16 pve-router-01 watchdog-mux[4098]: клиентский watchdog истек - отключите обновления watchdog. Это означает, что стек HA не смог запустить watchdog в течение 60 секунд, потому что /etc/pve было недоступно для записи. Перед этим вы можете увидеть, как связь с хостом 2 отключалась и снова подключалась, а corosync пытался справиться с ситуацией. В момент полного отключения похоже, что corosync не смог закончить синхронизацию при изменении членства - трудно сказать, что там происходит без логов от других узлов, и, вероятно, потребуется отладочный лог для полного анализа.
     
     
     
    jonasled
    Guest
    #5
    0
    26.04.2023 10:25:00
    Да, у хоста 2 (pve-router-05) возникла проблема с очень медленным вводом-выводом. Я загрузил журналы за последние несколько дней со всех узлов: * конфигурация corosync: https://paste.jonasled.de/uremaxawek.yaml * pve-router-01: https://transfer.jonasled.de/EDWlzC1oNT/syslog * pve-router-02: https://transfer.jonasled.de/2g3NOepvyA/syslog * pve-router-03: https://transfer.jonasled.de/SVeLY2QCAG/syslog * pve-router-04: https://transfer.jonasled.de/cPozunHx99/syslog * pve-router-05: https://transfer.jonasled.de/NkO2Q0hrtg/syslog
     
     
     
    fabian
    Guest
    #6
    0
    26.04.2023 10:41:00
    Спасибо за логи! Как настроена ваша сеть? Вызывала ли аварийная ссылка задержку на хранилище и, как следствие, перегрузку затронутого хоста? Или, наоборот, именно аварийная ссылка вызвала сбой в работе хранилища? Или же не связано вообще? В любом случае, мне кажется, что сочетание хоста 2 (pve-router-05), у которого частенько обрывалась связь, помешало corosync установить связи между участниками кластера (каждое изменение в топологии заставляет процесс начинаться заново), при этом не имея активности высокой доступности, так как он не был изолирован, несмотря на потерю кворума, стало главным фактором, усугубляющим ситуацию. Это могло быть предотвращено, если бы corosync устанавливала статус ссылки как «включён» только по прошествии времени (так, чтобы узел с постоянно обрывающейся связью выпал из членства и другие могли бы установить кворум до того, как аварийные ссылки снова начнут считаться «включёнными»), но это также значит, что восстановление занимает больше времени в случае кратковременного сбоя. Не зная коренной причины, трудно рекомендовать какие-либо изменения. Судя по сообщениям при загрузке, похоже, что 3 ваших PVE-хоста виртуальные? Возможно, гипервизор имел проблемы, из-за которых ВМ pve-router-5 не могла быть запланирована (достаточно часто), и это вызвало обрывы связи?
     
     
     
    jonasled
    Guest
    #7
    0
    26.04.2023 10:48:00
    Только PVE-router-01 является физическим хостом, остальные — виртуальные. Когда router-01 в сети, все ВМ работают на этом хосте, в противном случае они будут запускаться на других узлах. Проблемы с сетевым подключением нет, все находятся на одном коммутаторе, и коммутатор не зафиксировал отключений. При крахе вчера была проблема на хосте router-05, из-за которой произошла высокая загрузка ЦП. Это вызвало проблему с ссылкой для corosync, но в чем вопрос — почему другие хосты падают, когда у одного узла возникают проблемы с corosync?
     
     
     
    fabian
    Guest
    #8
    0
    26.04.2023 11:34:00
    потому что если все ссылки узла долго находятся в состоянии флаппинга, corosync может не успеть определить, какие узлы онлайн, и если у узла включена высокая доступность, отсутствие кворума в течение длительного времени приводит к тому, что этот узел сам себя изолирует.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры