+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[PVE 6.0] Не удается установить ZFS arc_min и arc_max, Proxmox Виртуальная Среда

Mino

Guest

15.07.2019 00:38:00

Привет, только что установил свежую pve 6.0 на два идентичных сервера: root@proxmox02:~# pveversion pve-manager/6.0-2/865bbe32 (работает на ядре: 5.0.15-1-pve) Установил с ZFS для корневого раздела: root@proxmox02:~# zpool list NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT rpool 236G 1.02G 235G - - 0% 0% 1.00x ONLINE - stor-local-zfs 464G 1.38M 464G - - 0% 0% 1.00x ONLINE - root@proxmox02:~# zfs list NAME USED AVAIL REFER MOUNTPOINT rpool 1.01G 228G 104K /rpool rpool/ROOT 1.01G 228G 96K /rpool/ROOT rpool/ROOT/pve-1 1.01G 228G 1.01G / rpool/data 112K 228G 112K /rpool/data stor-local-zfs 1.22M 449G 96K /stor-local-zfs Когда я устанавливаю лимиты для ZFS ARC, обновляю initramfs и перезагружаю, ничего не меняется. Это работало на pve 5.4, но разница в том, что ранее корневой раздел был ext4, а теперь - zfs. root@proxmox02:~# cat /etc/modprobe.d/zfs.conf # Минимальный ZFS ARC: 512 MB options zfs zfs_arc_min=536870912 # Максимальный ZFS ARC: 4 GB options zfs zfs_arc_max=4294967296 root@proxmox02:~# update-initramfs -u -k all update-initramfs: Генерация /boot/initrd.img-5.0.15-1-pve root@proxmox02:~# reboot root@proxmox02:~# grep c_ /proc/spl/kstat/zfs/arcstats c_min 4 1053766656 c_max 4 16860266496 arc_no_grow 4 0 arc_tempreserve 4 0 arc_loaned_bytes 4 0 arc_prune 4 0 arc_meta_used 4 92992024 arc_meta_limit 4 12645199872 arc_dnode_limit 4 1264519987 arc_meta_max 4 127125672 arc_meta_min 4 16777216 async_upgrade_sync 4 58 arc_need_free 4 0 arc_sys_free 4 526883328 arc_raw_size 4 0 root@proxmox02:~# arc_summary ------------------------------------------------------------------------ Отчет по подсистеме ZFS Чт, 15 июля 2019 00:36:26 2019 Linux 5.0.15-1-pve 0.8.1-pve1 Устройство: proxmox02 (x86_64) 0.8.1-pve1 Статус ARC: ЗДОРОВЬЕ Количество ограничений памяти: 0 Текущий размер ARC: 3.6 % 579.3 MiB Целевой размер (адаптивный): 100.0 % 15.7 GiB Минимальный размер (жесткий лимит): 6.2 % 1005.0 MiB Максимальный размер (высокий уровень): 16:1 15.7 GiB Размер кэша наименее часто используемых (MFU): 32.0 % 180.3 MiB Размер кэша наиболее недавно используемых (MRU): 68.0 % 383.3 MiB Размер кэша метаданных (жесткий лимит): 75.0 % 11.8 GiB Текущий размер кэша метаданных: 0.7 % 88.7 MiB Размер кэша dnode (жесткий лимит): 10.0 % 1.2 GiB Текущий размер кэша dnode: 0.6 % 6.9 MiB Чего-то я не понимаю?

Nemesiz

Guest

08.08.2019 15:25:00

Текущий код ARC: # arc_summary

------------------------------------------------------------------------
Отчет подсистемы ZFS Чт Авг 08 10:27:10 2019
Linux 5.0.18-1-pve 0.8.1-pve1
Машина: nmz-lt (x86_64) 0.8.1-pve1

Статус ARC: ЗДОРОВ
Количество ограничений по памяти: 0

Размер ARC (текущий): 99.0 % 11.9 GiB
Целевой размер (адаптивный): 100.0 % 12.0 GiB
Минимальный размер (жесткий лимит): 100.0 % 12.0 GiB
Максимальный размер (высокий уровень): 1:1 12.0 GiB
Размер кэша самых часто используемых (MFU): 44.8 % 4.9 GiB
Размер кэша недавно использованных (MRU): 55.2 % 6.1 GiB
Размер кэша метаданных (жесткий лимит): 30.0 % 3.6 GiB
Размер кэша метаданных (текущий): 77.0 % 2.8 GiB
Размер кэша Dnode (жесткий лимит): 10.0 % 368.6 MiB
Размер кэша Dnode (текущий): 23.1 % 85.1 MiB Установите нижние минимальные/максимальные значения 5/6: Код: echo 5368709120 > /sys/module/zfs/parameters/zfs_arc_min
echo 6442450944 > /sys/module/zfs/parameters/zfs_arc_max Отчет ARC Код: # arc_summary

------------------------------------------------------------------------
Отчет подсистемы ZFS Чт Авг 08 10:29:52 2019
Linux 5.0.18-1-pve 0.8.1-pve1
Машина: nmz-lt (x86_64) 0.8.1-pve1

Статус ARC: ЗДОРОВ
Количество ограничений по памяти: 0

Размер ARC (текущий): 99.1 % 11.9 GiB
Целевой размер (адаптивный): 100.0 % 12.0 GiB
Минимальный размер (жесткий лимит): 100.0 % 12.0 GiB
Максимальный размер (высокий уровень): 1:1 12.0 GiB
Размер кэша самых часто используемых (MFU): 44.6 % 4.9 GiB
Размер кэша недавно использованных (MRU): 55.4 % 6.1 GiB
Размер кэша метаданных (жесткий лимит): 30.0 % 3.6 GiB
Размер кэша метаданных (текущий): 76.7 % 2.8 GiB
Размер кэша Dnode (жесткий лимит): 10.0 % 368.6 MiB
Размер кэша Dnode (текущий): 23.0 % 84.9 MiB Код: grep . /sys/module/zfs/parameters/zfs_arc_*
...
/sys/module/zfs/parameters/zfs_arc_min:5368709120
/sys/module/zfs/parameters/zfs_arc_max:6442450944
... ..... После 3 часов..... Код: # arc_summary

------------------------------------------------------------------------
Отчет подсистемы ZFS Чт Авг 08 13:24:37 2019
Linux 5.0.18-1-pve 0.8.1-pve1
Машина: nmz-lt (x86_64) 0.8.1-pve1

Статус ARC: ЗДОРОВ
Количество ограничений по памяти: 0

Размер ARC (текущий): 28.5 % 1.7 GiB
Целевой размер (адаптивный): 100.0 % 6.0 GiB
Минимальный размер (жесткий лимит): 83.3 % 5.0 GiB
Максимальный размер (высокий уровень): 1:1 6.0 GiB
Размер кэша самых часто используемых (MFU): 51.0 % 848.4 MiB
Размер кэша недавно использованных (MRU): 49.0 % 813.7 MiB
Размер кэша метаданных (жесткий лимит): 30.0 % 1.8 GiB
Размер кэша метаданных (текущий): 71.8 % 1.3 GiB
Размер кэша Dnode (жесткий лимит): 10.0 % 184.3 MiB
Размер кэша Dnode (текущий): 13.6 % 25.1 MiB

fabian

Guest

08.08.2019 15:56:00

Сброс значения ARC может занять некоторое время, так как оно будет уменьшаться только под давлением, а не просто потому, что вы задали предел. Если вы хотите постоянный нижний предел, установите его постоянно и подождите или перезагрузите.

Nemesiz Guest	#4 0 08.08.2019 19:42:00 Как я и говорил, изменение размера ARC происходит почти мгновенно. После этого я вернул размер ARC с помощью echo на 12G, но ARC завис на 5/6. Прошло 4 часа. Думаю, здесь должны быть какие-то новые настройки.

Brendon Guest	#5 0 03.10.2019 23:42:00 Кто-нибудь, не могли бы вы обновить документацию по этому вопросу?

Brendon

Guest

04.10.2019 00:10:00

Вот полный список команд для обновления zfs_arc_max, если вы используете EFI загрузку, для тех, кто будет это гуглить в будущем: Код: # cat /etc/modprobe.d/zfs.conf
# 8GB
options zfs zfs_arc_max=8589934592

# update-initramfs -u
update-initramfs: Генерация /boot/initrd.img-5.0.15-1-pve

# pve-efiboot-tool refresh
Запуск скрипта 'pve-auto-removal'..
Запуск скрипта 'zz-pve-efiboot'..
Повторное выполнение '/etc/kernel/postinst.d/zz-pve-efiboot' в новом приватном пространстве монтирования..
Копирование и настройка ядер на /dev/disk/by-uuid/0242-D2D0
Копирование ядра и создание загрузочной записи для 5.0.15-1-pve
Копирование и настройка ядер на /dev/disk/by-uuid/0243-232E
Копирование ядра и создание загрузочной записи для 5.0.15-1-pve

# reboot

# arc_summary
Размер ARC (текущий): 4.1 % 337.2 MiB
Целевой размер (адаптивный): 100.0 % 8.0 GiB

fabian Guest	#7 0 04.10.2019 10:06:00 документация верная — если только вы не используете устаревшую версию pve-kernel-helper, команда update-initramfs -u достаточно, чтобы запустить повторную синхронизацию после генерации initramfs.

Brendon Guest	#8 0 04.10.2019 18:05:00 Понял. Я тестировал с помощью стандартной установки Proxmox 6, так что, возможно, это и было проблемой. update-initramfs -u сам по себе не сработал.

Tanguy Bourdet Guest	#9 0 09.12.2020 03:04:00 Привет всем. У меня такая же проблема на zfs версии zfs-0.8.5-pve1 pveversion pve-manager/6.3-3/eee5f901 (работает на ядре: 5.4.78-2-pve) cat /etc/modprobe.d/zfs.conf options zfs zfs_arc_max=1737746 Целевая величина (адаптивная): 100.0 % 3.3 GiB Это ошибка zfs?

Dunuin

Guest

#10

09.12.2020 06:50:00

Вы пытаетесь ограничить свой ARC до 1.7MB? Вы знаете, что правило заключается в том, что нужно 4GB + 1GB RAM на каждый 1TB сырой дисковой ёмкости для ARC? Вы пробовали что-то более реалистичное, например, опцию zfs zfs_arc_max=4294967296 (для 4GB)?

Tanguy Bourdet Guest	#11 0 09.12.2020 10:29:00 LOL был уставшим x) дело сделано, и всё работает отлично. У тебя есть другие рекомендации по этому поводу?

mathx

Guest

#12

20.02.2021 23:21:00

Вы можете принудительно сбросить свои кэши, согласно моим указаниям: "Почему настройка arc_max не учитывается на ZFs в Linux" https://serverfault.com/a/833338/261576. Слишком низкий уровень arc кэша иногда приводит к ситуации, похожей на сбор мусора, когда процесс zfs_arc* потребляет много CPU и вызывает высокий объем дисковых операций ввода-вывода в течение 30-180 секунд, при этом наблюдаются ужасные результаты iowait для процессов. Никогда не опускайтесь слишком низко. "за терабайт диска" — не лучший способ расчета, количество IOps в разных областях диска имеет гораздо большее значение, различные рабочие нагрузки будут создавать разные паттерны, и вы скоро поймете, если вам не хватает оперативной памяти (также учтите ZIL, но у меня было немного успеха с l2arc).

Nemesiz Guest	#13 0 08.08.2019 00:16:00 После обновления ZFS 0.8 работает иначе, чем 0.7. Я установил размер ARC с помощью параметра echo, и изменения в 0.8 проявляются не сразу.

fabian Guest	#14 0 08.08.2019 09:26:00 пожалуйста, предоставьте точные команды и значения до/после..

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры