+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] ZFS swap приводит к сбою системы, Proxmox Виртуальная Среда

LnxBil

Guest

17.12.2015 14:39:00

Всем привет, столкнулся с проблемами стабильности при использовании свопа на ZFS (swap на zvol). Система постоянно падает с паникой в течение нескольких минут с чередующимися ошибками на 4.2.6-1-pve swapper/5: сбой выделения страниц General Protection fault (повторяется несколько раз) Заблокированный процесс kswapd.

Если использовать, например, исключительно zram или другое блочное устройство, не связанное с ZFS, всё работает без проблем. Кто-нибудь тоже сталкивался с такой проблемой?

С уважением, LnxBil

iffi

Guest

23.02.2016 17:59:00

Для начала большое спасибо, я думал, что только у меня такие внезапные сбои и искал аппаратную неисправность. Но у меня есть вопрос: эта тема помечена как решённая, а в чём именно решение проблемы? Использование отдельного раздела под свап только предотвращает проблему. Отключить раздел свап... вы серьёзно называете это решением? Настройки из сообщения №3 решают проблему?

LnxBil

Guest

23.02.2016 18:45:00

Почему? Надеюсь, ваш сервер никогда сильно не будет использовать свопинг. Я выбираю zram-config из Ubuntu, который добавляет сжатый своп в оперативной памяти (zram), или же использую отдельную установку системы без ZFS и только ZFS для дисков с данными (в основном на внешних стойках).

windinternet

Guest

25.02.2016 09:19:00

Если посмотреть на серверы, которые работают долгое время, обычно они накапливают около трех четвертей гигабайта мусора, который перемещается в SWAP и больше никогда не используется. Так что отключение сваппинга действительно не обходится без минусов, потому что за пару дней или недель это приведет к небольшому снижению доступного объема оперативной памяти. Но если сравнивать с обычным размером ОЗУ, это не такая большая потеря. Использование другой swap-раздела или zram полностью решает проблему свапа. Было бы здорово, если бы установщик делал это автоматически.

LnxBil Guest	#5 0 25.02.2016 09:25:00 К сожалению, zram-config в настоящее время отсутствует в Debian.

windinternet

Guest

07.03.2016 15:56:00

Важное замечание по поводу работы с отключённым SWAP. Это может привести к неожиданным завершениям процессов из-за нехватки памяти (OOM kills). Я не могу уверенно это подтвердить, но исходя из недавнего опыта, кажется, что при полном отключении SWAP в Linux автоматически включается настройка vm.overcommit_memory=2. А поскольку по умолчанию vm.overcommit_ratio равен 50%, Linux отказывается резервировать больше 50% физической памяти вне ядра и кеша ZFS. Политика памяти отображалась как 0, но OOM killer сработал при достижении 50% зарезервированной памяти, в то время как кеш ARC занимал оставшиеся 50%. Возможно, кеш ARC не освобождал память достаточно быстро, но ограничение CommitLimit в /proc/meminfo действительно показывало 50% физической памяти как лимит.

deludi

Guest

13.03.2016 11:16:00

Всем привет! Вчера целый день мучился с случайными сбоями на только что установленном гипервизоре proxmox 4.1 (xeon e3-1245 v2, 16GB, 2 x 480GB Samsung enterprise ssd в RAID 1). Машина была установлена пару недель назад и никаких проблем не было, пока виртуальные машины хранились на локальном ZFS RAID 1.

Вчера утром я настроил ZFS для создания локального тома, потому что хотим использовать pve-zsync для создания снимков. Сделал вот что:
1. Создал ZFS том из командной строки
2. Добавил ZFS том через GUI
3. Установил максимальное использование ZFS в 2ГБ в zfs.conf (zfs_arc_max=)
4. Установил swappiness в 10

Дополнительно:
а. Скачал .deb пакет pve-zsync и установил вручную через "dpkg -i packagename" — потому что использование репозитория без подписки не рекомендовано.
б. Настроил email в zed.rc

Странно, что у меня есть ещё одна машина с proxmox 4.1 с почти такой же конфигурацией, которая работает без проблем. Единственное отличие — на том гипервизоре память под ZFS настроена минимум 2ГБ и максимум 4ГБ. Там всего одна виртуальная машина с Win 7, которой выделено 8ГБ ОЗУ (фактическое использование памяти в Windows — от 3 до 4ГБ).

Читал, что выставлять swappiness в 0 плохо. Кто-нибудь уже использует такие настройки:
zfs set primarycache=metadata rpool/swap
zfs set secondarycache=metadata rpool/swap
zfs set compression=off rpool/swap
zfs set sync=disabled rpool/swap
zfs set checksum=on rpool/swap

У гипервизоров всего 2 SSD на портах SATA600 (остальные 4 — SATA300), поэтому предпочитаю софтверное решение и не хочу добавлять ещё 2 SSD.

Спасибо за любые советы!

windinternet Guest	#8 0 14.03.2016 11:21:00 Вы запускаете машину с SWAP на ZFS? При низком объёме памяти это будет нестабильно, даже если отключить все функции на rpool/swap. На новых ядрах это проявляется ещё сильнее. arc_max — это не жёсткий лимит, иначе машины с ZFS постоянно зависали бы при интенсивном вводе-выводе, это просто максимальное ограничение кэша по возможности. Поскольку swap — это ZVOL, то то же самое может касаться любых ZVOL, используемых для любых целей при низкой памяти. Мне интересно, будут ли у вас проблемы, если вы отключите swap (но не забудьте настроить vm.overcommit_ratio, как я объяснял ранее).

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры