+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Медленные записи на диск с ZFS RAID 10. Понятно, что ZFS RAID 10 – это не самый быстрый вариант для записи, но в последнее время это стало просто невыносимо медленно. Кто-нибудь сталкивался с подобным? Есть идеи, что может быть не так? Может, стоит прове

RSS

Vedeyn

Guest

29.04.2021 04:13:00

Добрый день, я относительно нов в ZFS, так что, пожалуйста, будьте терпеливы. Недавно я настроил два идентичных сервера (Ryzen 7 3700x, 96GB RAM, 500GB NVMe системный диск, 4 8TB HDD, 2.5Gb NIC) с Proxmox. Я настроил 4 8TB HDD на каждом в пуле RAID-Z1 через графический интерфейс Proxmox. Я не был особо доволен производительностью в некоторых случаях, поэтому решил удалить zpool на одном узле и настроить его в RAID-10, используя шаги, описанные здесь: https://pve.proxmox.com/wiki/ZFS_on_Linux. Проблема в том, что я наблюдаю странное поведение при выполнении rsync между узлами. При выполнении rsync (~25GB фильма) с RAID-Z1 на массив RAID-10 скорости начинаются примерно с 260 МБ/с, но довольно быстро падают до примерно 95 МБ/с и остаются на этом уровне. Синхронизации с RAID-10 на RAID-Z1, однако, начинаются и практически остаются примерно на уровне 160 МБ/с на протяжении всего времени. Я получаю те же результаты как внутри, так и вне VM. Я ожидал увидеть совершенно противоположные результаты производительности. Я немного в замешательстве, почему это может происходить, поэтому любая помощь/предложения были бы очень признательны. Спасибо за ваше время.

Vedeyn

Guest

15.05.2021 02:28:00

Спасибо за информацию. Я пока ещё не очень хорошо разбираюсь в ZFS, поэтому ожидал, что всё будет работать как традиционный RAID, но, похоже, это не так. Можешь посоветовать, какой размер блока (Datacenter -> Storage -> Edit) лучше всего выбрать, чтобы был компромисс между производительностью и эффективностью использования пространства? Видел много разных ответов на этот вопрос. Значение по умолчанию приводит к тому, что в моих ZFS-пулах используется довольно много лишнего места.

Dunuin

Guest

15.05.2021 07:17:00

Ты можешь использовать это для примерной оценки. Но помни, что эта таблица не учитывает сжатие и прочее. Пример: у тебя есть пул с четырьмя дисками на 8 ТБ в raidz1, использующий размер сектора 4 К (ashift=12). При размере сектора 3/6/9/12 ты потеряешь максимум 25% емкости. Ты используешь размер сектора 4 К, поэтому volblocksize 12 К/24 К/36 К/48 К будет теоретически оптимальным. И вообще, лучше всего использовать наименьший возможный volblocksize, чтобы минимизировать накладные расходы. Так что 12 К будет хорошей отправной точкой. С настройкой по умолчанию 8 К (2 сектора) ты потеряешь 50% емкости. В обоих случаях твой пул покажет, что доступно 24 из 32 ТБ, но из-за того, что с 8 К все, что ты пишешь, потребует на 50% больше места, 16 ТБ данных потребуют 24 ТБ места на хранилище. Если ты используешь striped mirror (raid10) с 4 дисками, 8 К должно быть наилучшим значением (в случае 4 К секторов).

ieronymous Guest	#4 0 09.10.2024 14:09:00 Ну и вот, даже сейчас, когда PVE по умолчанию использует 16k для Zvols, аналогичный сценарий использования (4 диска (512e) / ashift=12) всё равно даст оптимальное значение как 8k, верно?

waltar

Guest

09.10.2024 14:39:00

Я так не думаю, потому что обычно для всех ZFS пулов включается сжатие, и в зависимости от данных, записываемых на диск, они сжимаются индивидуально перед записью, да и не забываем про дополнительно генерируемые контрольные суммы… так что на самом деле я уверен, что все "идеальные оптимальные рекомендации по дискам и vdev" — полный бред, потому что на практике они редко реализуемы.

ieronymous Guest	#6 0 10.10.2024 13:23:00 И так, какой у тебя главный принцип? Только настройки по умолчанию? Зацени вот здесь мою тему https://forum.proxmox.com/threads/blocksize-recordsize-thin-provision-options.155553/#post-710296 (особенно часть с моими примерами). Если у тебя есть какие-то мысли по поводу моих предположений в этих примерах, не стесняйся, выскажи своё мнение. В конце концов, может быть, это и полный бред, как ты говоришь, но всё равно нужно указать какое-то значение.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры