Аспро: ЛайтШоп [тема: ZFS по iSCSI (высокая нагрузка при перемещении диска)]

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Tue, 27 Apr 2021 02:51:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Здравствуйте, я наблюдаю очень похожую, если не ту же самую проблему в нашей настройке. Все вроде бы работает нормально, но когда пытаешься переместить виртуальную машину между двумя хостами или даже переместить диск с одного хранилища на другое, все останавливается, работа идет невероятно медленно, виртуальные машины становятся неотзывчивыми, использование ЦП возрастает. Это происходит даже при миграции с NVME-хранилища на одном хосте на NVME-хранилище на другом. Вы когда-нибудь находили решение? P.S. Я не смог найти, как обновить настройку опроса, о которой упоминалось. echo 1 > /sys/block/nvme0n1/queue/io_poll не сработало, выдало ошибку записи: недопустимый аргумент. Эта же проблема возникла даже при использовании текстового редактора, такого как nano.
27.04.2021 02:51:00, JamesT.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Fri, 14 Feb 2020 14:59:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Вольфганг, спасибо! Я должен отметить, что совместное использование NFS на том же сервере ZFS и тех же дисках Nvme гораздо быстрее. Только когда мы используем ZVOL на этом сервере и перемещаем или клонируем диски, нагрузка становится очень высокой. Так что я не уверен насчет решения с мостами. Как ты думаешь?
14.02.2020 14:59:00, ran.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Fri, 14 Feb 2020 11:18:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пожалуйста, проверьте в BIOS, есть ли настройка, где можно установить процессор в режим производительности и отключить все энергосберегающие функции. Это не файл, это sysfs. Он должен существовать в актуальном ядре pve. Обычно с этим нет проблем. Но, как показывает ваш отчет lspci, NVMe не сбалансирован. У вас 4 моста: мост 3B:00.0 имеет 7 NVMe, мост 18:00.0 имеет 1 NVMe, мост 86:00.0 имеет 2 NVMe, мост af:00.0 имеет 1 NVMe. Я бы позаботился о том, чтобы NVMe был сбалансирован по мостам.
14.02.2020 11:18:00, wolfgang.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Tue, 11 Feb 2020 09:45:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, спасибо, я приложил оба вывода команд, в настоящее время этот файл не существует "/sys/module/nvme/parameters/poll_queues". Должен ли я просто создать его с помощью команды echo и использовать вывод команды nproc? Вывод scaling_governor: cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand. Вывод io_poll_delay: cat /sys/block/nvme0n1/queue/io_poll_delay -1. Должен ли я вносить все изменения, которые вы предложили, в режиме реального времени на активном сервере ZFS? Спасибо за помощь.
11.02.2020 09:45:00, ran.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Tue, 11 Feb 2020 06:37:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это вообще проблема NVMe. Похоже, что это связано с тем, что диски работают слишком быстро, и многие производители оборудования используют коммутаторы, чтобы расширить PCIe-каналы для большего числа устройств, что вызывает серьезные проблемы. Пожалуйста, вышлите мне результат этой команды, чтобы проверить, как ваши NVMe подключены. Код: lspci -tv lspci. Тем временем вы можете попробовать следующее, чтобы увеличить производительность. Установите для ядер реальное количество ядер без HT. echo > /sys/module/nvme/parameters/poll_queues Проверьте, установлен ли губернатор в режим производительности. cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor Включите задержку (0 = гибрид) 1< это мс echo 0 > /sys/block/nvme0n1/queue/io_poll_delay
11.02.2020 06:37:00, wolfgang.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Mon, 10 Feb 2020 16:47:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Вольфганг, у тебя есть представление, почему это может происходить? У тебя достаточно информации с моей стороны? Спасибо.
10.02.2020 16:47:00, ran.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Tue, 28 Jan 2020 09:43:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, это данные для каждого, приложенные в файлах.
28.01.2020 09:43:00, ran.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Tue, 28 Jan 2020 06:48:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пожалуйста, отправь мне вывод этих команд. Код: arc_summary lsblk swapon zpool get all zfs get all
28.01.2020 06:48:00, wolfgang.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Mon, 27 Jan 2020 21:14:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
К сожалению, это не помогло абсолютно. Почему-то во время любых крупных операций, таких как перемещение диска, клонирование или восстановление, история та же: слишком высокая нагрузка, которая, похоже, связана с тем, что открывается слишком много потоков процессов и это вызывает значительные задержки ввода-вывода в системе. Есть что-то еще, что вы можете предложить? Мы действительно потерялись в этой ситуации, у нас есть несколько виртуальных машин, зависимых от этого хранилища, и все они могут упасть при любом перемещении диска. Хотя оборудование действительно на высшем уровне, как уже упоминалось. Спасибо.
27.01.2020 21:14:00, ran.

ZFS по iSCSI (высокая нагрузка при перемещении диска)

Sun, 12 Jan 2020 09:49:00 +0300

ZFS по iSCSI (высокая нагрузка при перемещении диска) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет. У нас есть настройка ZFS через iSCSI с использованием LIO на Ubuntu 18, и у нас возникает проблема с высокой нагрузкой ввода-вывода, когда мы перемещаем диски, которые больше 100 ГБ. Как только начинается перемещение, нагрузка низкая, пока не пройдет примерно половина передачи, а затем она становится невыносимо высокой. Наша настройка очень мощная: raidz1-0 на 8TB X 8 дисках NVMe с 512 ГБ оперативной памяти и процессорами dual Xeon Gold 3.3GHz, и это только для хранения. У нас отключен atime для ZFS. Есть ли у вас идеи насчет причины высокой нагрузки при перемещении дисков большой емкости? Кстати, установка лимита в параметрах кластера Proxmox никак не помогает. Спасибо.
12.01.2020 09:49:00, ran.