Аспро: ЛайтШоп [тема: Высокий ввод-вывод задержки после потери ноды.] http://proxmox.su Новое в теме Высокий ввод-вывод задержки после потери ноды. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Mon, 11 May 2026 03:52:12 +0300 Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это, по сути, делает кластер бесполезным: как только выходит из строя хоть один OSD, ввод-вывод по PG, хранящимся на этом OSD, прекращается до тех пор, пока они не будут восстановлены из единственной копии, оставшейся в кластере. Всегда используйте, как минимум, size=3, min_size=2, если вы не готовы к таким простоям. Не говоря уже о риске отказа другого OSD одновременно, который может содержать другую копию тех же PG... Ввод-вывод, который вы видите, – это диски ваших ВМ, а не диск хоста, и вызван блокировкой ввода-вывода Ceph из-за наличия менее чем min_size копий некоторых PG, как объяснил SteveITS выше. Ваши ВМ пытаются выполнить ввод-вывод, Ceph не разрешает это до восстановления, ВМ накапливают все больше и больше процессов, ожидающих ввода-вывода, и так далее.
10.07.2025 11:29:00, VictorSTS.]]> http://proxmox.su/forum/messages/forum63/message319408/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319408/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Thu, 10 Jul 2025 11:29:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если оставить параметр на 2/2 и разрешить восстановление (norecover=off), то Ceph со временем догонит/восстановится и позволит виртуальным машинам функционировать, как только все группы размещения (PG) для виртуальной машины будут иметь 2 валидных копий. Если установить значение 3/2, то да, это потребует больше места для хранения, но у вас будет запас, так что выход одного OSD не заблокирует группы размещения, у которых есть только 2 активных копии, потому что уже будут другие 2 копии PG. По умолчанию 3 копии находятся на разных узлах, так что для блокировки ввода-вывода нужно, чтобы вышли из строя два узла.
09.07.2025 22:16:00, SteveITS.]]> http://proxmox.su/forum/messages/forum63/message319407/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319407/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 22:16:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, @SteveITS! Если я изменю этот параметр, Ceph создаст все "пропущенные группы размещения" (PG) и задействует 50% дополнительного дискового пространства?

С уважением,
09.07.2025 21:42:00, flotho.]]> http://proxmox.su/forum/messages/forum63/message319406/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319406/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 21:42:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если копий меньше, чем min_size, ввод-вывод приостановится до тех пор, пока min_size не станет доступен. osd_pool_default_size = 3 # Записывать объект три раза. osd_pool_default_min_size = 2 # Принимать операции ввода-вывода на PG, в котором есть две копии объекта.
09.07.2025 16:09:00, SteveITS.]]> http://proxmox.su/forum/messages/forum63/message319405/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319405/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 16:09:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хм, кажется, я понял, что произошло. Конфа Ceph выглядит так: Пользователь добавил изображение Насколько я понимаю, если OSD упал, то есть большая вероятность, что отсутствие OSD будет расценено как аварийная ситуация, и система среагирует, чтобы перераспределить отсутствующие PG. Я правильно понимаю?
09.07.2025 14:53:00, flotho.]]> http://proxmox.su/forum/messages/forum63/message319404/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319404/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 14:53:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хм, кажется, это приоритетная проблема в операциях. Когда восстановление закончилось, задержки ввода-вывода уменьшились, и все работает нормально на трех узлах. Что я могу настроить, чтобы отдавать приоритет использованию клиентами, когда нет "аварийной ситуации"? С уважением.
09.07.2025 14:11:00, flotho.]]> http://proxmox.su/forum/messages/forum63/message319403/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319403/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 14:11:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Состояние Ceph показывает только предупреждения: Пользователь добавил изображение, но iodelay все равно очень высокий.
09.07.2025 13:21:00, flotho.]]> http://proxmox.su/forum/messages/forum63/message319402/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319402/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 13:21:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Дополнительная информация: HA пока не активирована. Когда сервер оживет, все должно заработать как часы. Мы выясняем, почему другие узлы так бурно реагируют на эту ситуацию.
09.07.2025 12:11:00, flotho.]]> http://proxmox.su/forum/messages/forum63/message319401/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319401/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 12:11:00 +0300 Proxmox Виртуальная Среда Высокий ввод-вывод задержки после потери ноды. Высокий ввод-вывод задержки после потери ноды. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у нас есть 4-узловой кластер с Ceph, установленный на 4 дисках на узел, то есть 16 OSD, и используется только 50%. Все диски NVMe, планировщик настроен с опцией mq-deadline в /sys/block/nvmeXXX/queue/scheduler. У узлов достаточно оперативной памяти и CPU.

Сегодня один из узлов был выключен, и мы ожидали, что оставшиеся 3 узла будут работать "нормально". В итоге 3 доступных узла перегружены с очень высоким serverload и очень высоким IO Delay.

iostat -x 1 показывает, что RDB потребляет много ресурсов Пользователь добавил изображение Это кажется странным, поэтому я попробовал отключить некоторые опции: Пользователь добавил изображение Тем не менее, iodelay и server load остаются очень высокими. Я даже попробовал снизить приоритет операций чем-то вроде:

Code: ceph tell 'osd.*' injectargs --osd-max-backfills=1 --osd-recovery-max-active=3 --osd_recovery_op_priority=30

Буду признателен за любые советы или рекомендации.

С уважением
09.07.2025 11:55:00, flotho.]]> http://proxmox.su/forum/messages/forum63/message319400/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. http://proxmox.su/forum/messages/forum63/message319400/77027-vysokiy-vvod_vyvod-zaderzhki-posle-poteri-nody. Wed, 09 Jul 2025 11:55:00 +0300 Proxmox Виртуальная Среда