+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Исправление избыточной записи ZFS. По сути, избыточная запись (write amplification) — это когда ZFS пишет больше данных на SSD, чем вы изначально планировали. Почему так происходит? * **Оптимизация производительности:** ZFS старается оптимизировать п

RSS

kyprijan

Guest

08.06.2023 11:02:00

Привет! У меня тут такая конфигурация: 4 жёстких диска на 2Тб каждый, 2 потребительских SSD Samsung на 1Тб, 1 потребительский SSD на 256Гб. Два SSD по 1Тб объединены в зеркало, на них установлена система. 4 жёстких диска объединены в RAID10, а 256Гб SSD подключен к ним как кеш l2arc. Когда я это собирал, я не знал о таком явлении, как "увеличение записи". За 3 месяца износ составил 4%, учитывая, что нагрузка на сервер была минимальной. Да, на дистанции это не так уж много, и можно и прожить с этим, но хотелось бы улучшить ситуацию. Система постоянно что-то пишет, а что если установить PVE на RAID10 из HDD с SSD в качестве l2arc и зеркало SSD использовать для хранения виртуальных машин? Сборка не потеряет в производительности? Будет ли хранение на SSD так же эффективно, как в текущей сборке? Да, я знаю, что можно отключить atime, перенаправить логи в оперативную память, но это не сильно поможет уменьшить увеличение записи.

leesteken

Guest

08.06.2023 11:14:00

Сам по себе процесс установки Proxmox не требует ничего быстрого и действительно постоянно пишет логи и графики. Запускать его на (очень маленьких) HDD будет нормально, и вам не нужен кэш или что-то особенное. Ввод-вывод для виртуальных машин и контейнеров зависит в основном от того, что внутри них запущено. Корпоративные SSD с PLP предпочтительнее, так как они могут справиться с большим количеством IOPS и (синхронными) записями корректно. Я отключил обе службы pve-ha на одном узле, чтобы уменьшить количество записей и кучу не очень полезных сообщений в логах.

Dunuin

Guest

08.06.2023 13:29:00

Я много тестировал все эти годы и так и не смог значительно снизить эффект увеличения количества операций записи в ZFS.

* По возможности избегай шифрования (по непонятной причине оно удваивает эффект увеличения количества операций записи).
* По возможности избегай CoW поверх CoW.
* По возможности избегай вложенных файловых систем.
* Не используй потребительские SSD без PLP, так как они не могут кэшировать синхронные записи, и SSD не может оптимизировать записи для меньшего износа.
* raidz1/2/3 не лучший вариант для хранения виртуальных машин (меньше IOPS и проблема с накладными расходами на заполнение), но общее увеличение количества операций записи будет ниже, так как не все данные придется записывать дважды (raidz1 из 5 дисков будет записывать только дополнительные 25% данных для избыточности вместо 100% для полной копии всего).
* Самая большая проблема — это небольшие синхронные записи (поэтому стоит избегать запуска баз данных).

Увеличение количества операций записи… усиливает… так что каждое небольшое количество данных, которое ты избежишь записи, сэкономит много износа… Поэтому, по сути, особого выбора у тебя нет, кроме как пытаться избегать записи в первую очередь (отключить ведение журнала и т.д.). Если тебя устраивает производительность, я бы просто продолжал их использовать, и как только один из дисков выйдет из строя, я бы приобрел пару настоящих (для смешанных рабочих нагрузок, корпоративного уровня) SSD, способных справиться с этими операциями записи.

Увеличение количества операций записи больше не такая большая проблема, когда твой 1ТБ корпоративный SSD рассчитан на 20750 ТБ записей, а не, например, только 360ТБ, как 1ТБ потребительский QLC SSD.

xsouku04

Guest

31.03.2025 15:35:00

Я вел базу данных с интенсивной записью. Из-за эффекта ZFS Write amplification SSD-диск очень быстро пришёл в негодность – всего через год использования. Ничего не помогало снизить этот эффект. Пришлось отказаться от ZFS для основной базы данных и перейти на ext4 на LVM. С тех пор использую ZFS только для других контейнеров, а не для баз данных. На этой неделе я начал развертывать ту же реплицированную базу данных на FreeBSD. К моему удивлению, когда recordsize установлен в 8 KB (рекомендовано для баз данных), эффекта ZFS Write amplification практически нет. Количество записанных МБ в минуту сопоставимо с UFS. Я запускаю ту же базу данных дважды на одном сервере, чтобы можно было сравнить. Если установить vfs.zfs.txg.timeout в 60 (в Linux это echo 60 > /sys/module/zfs/parameters/zfs_txg_timeout), то скорость записи на ZFS становится даже ниже, чем при использовании традиционной файловой системы UFS + SU. Количество записанных данных очень легко отслеживать с помощью программы iostat. (для FreeBSD iostat -w 60 -I,zpool iostat -v 60, для Linux iostat 60) И чтобы быть уверенным, проверьте количество записанных данных с помощью диагностического инструмента SMART диска. Я думаю, что в ZFS на Linux есть какая-то ошибка. Возможно, есть простое решение, но большинство людей этого не замечают, пока это действительно не становится проблемой при наличии контейнеров с интенсивной записью. В любом случае снижение производительности должно быть всегда присутствовать.

Maximiliano Guest	#5 0 31.03.2025 16:38:00 Привет! Какая файловая система используется внутри гостевой ОС? Самые худшие случаи увеличения количества операций записи происходят при использовании файловой системы Copy-on-Write (CoW) поверх файловой системы CoW.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры