+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

ZFS по iSCSI (высокая нагрузка при перемещении диска), Proxmox Виртуальная Среда

ran

Guest

12.01.2020 09:49:00

Привет. У нас есть настройка ZFS через iSCSI с использованием LIO на Ubuntu 18, и у нас возникает проблема с высокой нагрузкой ввода-вывода, когда мы перемещаем диски, которые больше 100 ГБ. Как только начинается перемещение, нагрузка низкая, пока не пройдет примерно половина передачи, а затем она становится невыносимо высокой. Наша настройка очень мощная: raidz1-0 на 8TB X 8 дисках NVMe с 512 ГБ оперативной памяти и процессорами dual Xeon Gold 3.3GHz, и это только для хранения. У нас отключен atime для ZFS. Есть ли у вас идеи насчет причины высокой нагрузки при перемещении дисков большой емкости? Кстати, установка лимита в параметрах кластера Proxmox никак не помогает. Спасибо.

ran

Guest

27.01.2020 21:14:00

К сожалению, это не помогло абсолютно. Почему-то во время любых крупных операций, таких как перемещение диска, клонирование или восстановление, история та же: слишком высокая нагрузка, которая, похоже, связана с тем, что открывается слишком много потоков процессов и это вызывает значительные задержки ввода-вывода в системе. Есть что-то еще, что вы можете предложить? Мы действительно потерялись в этой ситуации, у нас есть несколько виртуальных машин, зависимых от этого хранилища, и все они могут упасть при любом перемещении диска. Хотя оборудование действительно на высшем уровне, как уже упоминалось. Спасибо.

wolfgang Guest	#3 0 28.01.2020 06:48:00 Пожалуйста, отправь мне вывод этих команд. Код: arc_summary lsblk swapon zpool get all zfs get all

ran Guest	#4 0 28.01.2020 09:43:00 Спасибо, это данные для каждого, приложенные в файлах.

ran Guest	#5 0 10.02.2020 16:47:00 Привет, Вольфганг, у тебя есть представление, почему это может происходить? У тебя достаточно информации с моей стороны? Спасибо.

wolfgang

Guest

11.02.2020 06:37:00

Это вообще проблема NVMe. Похоже, что это связано с тем, что диски работают слишком быстро, и многие производители оборудования используют коммутаторы, чтобы расширить PCIe-каналы для большего числа устройств, что вызывает серьезные проблемы. Пожалуйста, вышлите мне результат этой команды, чтобы проверить, как ваши NVMe подключены. Код: lspci -tv lspci. Тем временем вы можете попробовать следующее, чтобы увеличить производительность. Установите для ядер реальное количество ядер без HT. echo <Cores> > /sys/module/nvme/parameters/poll_queues Проверьте, установлен ли губернатор в режим производительности. cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor Включите задержку (0 = гибрид) 1< это мс echo 0 > /sys/block/nvme0n1/queue/io_poll_delay

ran

Guest

11.02.2020 09:45:00

Привет, спасибо, я приложил оба вывода команд, в настоящее время этот файл не существует "/sys/module/nvme/parameters/poll_queues". Должен ли я просто создать его с помощью команды echo и использовать вывод команды nproc? Вывод scaling_governor: cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand ondemand. Вывод io_poll_delay: cat /sys/block/nvme0n1/queue/io_poll_delay -1. Должен ли я вносить все изменения, которые вы предложили, в режиме реального времени на активном сервере ZFS? Спасибо за помощь.

wolfgang

Guest

14.02.2020 11:18:00

Пожалуйста, проверьте в BIOS, есть ли настройка, где можно установить процессор в режим производительности и отключить все энергосберегающие функции. Это не файл, это sysfs. Он должен существовать в актуальном ядре pve. Обычно с этим нет проблем. Но, как показывает ваш отчет lspci, NVMe не сбалансирован. У вас 4 моста: мост 3B:00.0 имеет 7 NVMe, мост 18:00.0 имеет 1 NVMe, мост 86:00.0 имеет 2 NVMe, мост af:00.0 имеет 1 NVMe. Я бы позаботился о том, чтобы NVMe был сбалансирован по мостам.

ran

Guest

14.02.2020 14:59:00

Привет, Вольфганг, спасибо! Я должен отметить, что совместное использование NFS на том же сервере ZFS и тех же дисках Nvme гораздо быстрее. Только когда мы используем ZVOL на этом сервере и перемещаем или клонируем диски, нагрузка становится очень высокой. Так что я не уверен насчет решения с мостами. Как ты думаешь?

JamesT Guest	#10 0 27.04.2021 02:51:00 Здравствуйте, я наблюдаю очень похожую, если не ту же самую проблему в нашей настройке. Все вроде бы работает нормально, но когда пытаешься переместить виртуальную машину между двумя хостами или даже переместить диск с одного хранилища на другое, все останавливается, работа идет невероятно медленно, виртуальные машины становятся неотзывчивыми, использование ЦП возрастает. Это происходит даже при миграции с NVME-хранилища на одном хосте на NVME-хранилище на другом. Вы когда-нибудь находили решение? P.S. Я не смог найти, как обновить настройку опроса, о которой упоминалось. echo 1 > /sys/block/nvme0n1/queue/io_poll не сработало, выдало ошибку записи: недопустимый аргумент. Эта же проблема возникла даже при использовании текстового редактора, такого как nano.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры