+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Крайне низкая производительность ZFS., Proxmox Виртуальная Среда

fsc

Guest

05.10.2021 23:21:00

Привет, у меня есть машина HP ProLiant с Proxmox, и у меня очень низкие скорости чтения/записи на диске ZFS. Эти проблемы даже способны блокировать все мои ВМ.

Мой сервер: ProLiant DL360e Gen8
* 2 x Intel® Xeon® CPU E5-2470 v2 @ 2.40GHz
* 72 GB ECC RAM @ 1333 Mhz
* 3 x SanDisk SSD Plus Sata III 1TB (535 MB/S) в SmartArray P420 (HBA mode) <<<--- Настроено как RAID 5 ZFS
* 1 x Коммерческий SATA SSD для Proxmox HOST

Когда я копирую большие файлы (каждый примерный файл имеет размер 2,5-3 ГБ), копирование начинается с относительно высокой скорости, примерно 120 МБ/с, а затем через несколько секунд падает до 50 МБ/с, чтобы в итоге работать со скоростью 1 МБ/с... Это действительно плохо, и я не могу понять, что происходит.

Это приводит к тому, что система становится очень медленной, и в конечном итоге все виртуальные машины блокируются из-за возросших задержек ввода-вывода и нагрузки.

Когда я ограничиваю скорость дисков во виртуальных машинах до 50 МБ/с, ничего не меняется, скорость быстро падает.

Конфигурация пула ZFS следующая:

```
root@proxmox-1:~# zpool get all
NAME PROPERTY VALUE SOURCE
Main_VM_Storage size 2.72T -
Main_VM_Storage capacity 30% -
Main_VM_Storage altroot - default
Main_VM_Storage health ONLINE -
Main_VM_Storage guid 12320134737522795333 -
Main_VM_Storage version - default
Main_VM_Storage bootfs - default
Main_VM_Storage delegation on default
Main_VM_Storage autoreplace off default
Main_VM_Storage cachefile - default
Main_VM_Storage failmode wait default
Main_VM_Storage listsnapshots off default
Main_VM_Storage autoexpand off default
Main_VM_Storage dedupratio 1.00x -
Main_VM_Storage free 1.89T -
Main_VM_Storage allocated 844G -
Main_VM_Storage readonly off -
Main_VM_Storage ashift 12 local
Main_VM_Storage comment - default
Main_VM_Storage expandsize - -
Main_VM_Storage freeing 0 -
Main_VM_Storage fragmentation 31% -
Main_VM_Storage leaked 0 -
Main_VM_Storage multihost off default
Main_VM_Storage checkpoint - -
Main_VM_Storage load_guid 3251330473448672712 -
Main_VM_Storage autotrim off default
Main_VM_Storage feature@async_destroy enabled local
Main_VM_Storage feature@empty_bpobj active local
Main_VM_Storage feature@lz4_compress active local
Main_VM_Storage feature@multi_vdev_crash_dump enabled local
Main_VM_Storage feature@spacemap_histogram active local
Main_VM_Storage feature@enabled_txg active local
Main_VM_Storage feature@hole_birth active local
Main_VM_Storage feature@extensible_dataset active local
Main_VM_Storage feature@embedded_data active local
Main_VM_Storage feature@bookmarks enabled local
Main_VM_Storage feature@filesystem_limits enabled local
Main_VM_Storage feature@large_blocks enabled local
Main_VM_Storage feature@large_dnode enabled local
Main_VM_Storage feature@sha512 enabled local
Main_VM_Storage feature@skein enabled local
Main_VM_Storage feature@edonr enabled local
Main_VM_Storage feature@userobj_accounting active local
Main_VM_Storage feature@encryption enabled local
Main_VM_Storage feature@project_quota active local
Main_VM_Storage feature@device_removal enabled local
Main_VM_Storage feature@obsolete_counts enabled local
Main_VM_Storage feature@zpool_checkpoint enabled local
Main_VM_Storage feature@spacemap_v2 active local
Main_VM_Storage feature@allocation_classes enabled local
Main_VM_Storage feature@resilver_defer enabled local
Main_VM_Storage feature@bookmark_v2 enabled local
Main_VM_Storage feature@redaction_bookmarks enabled local
Main_VM_Storage feature@redacted_datasets enabled local
Main_VM_Storage feature@bookmark_written enabled local
Main_VM_Storage feature@log_spacemap active local
Main_VM_Storage feature@livelist enabled local
Main_VM_Storage feature@device_rebuild enabled local
Main_VM_Storage feature@zstd_compress enabled local
```

Спасибо большое за создание Proxmox и спасибо большое за вашу помощь.

RolandK Guest	#2 0 04.03.2023 14:47:00 Да, они настолько плохи. Я видел скорость записи меньше 1 МБ/с.

SlimTom Guest	#3 0 17.11.2023 05:59:00 Стоит ли использовать быстрый SLOG драйв (Intel Optane)?

LnxBil Guest	#4 0 17.11.2023 09:00:00 Только для авторов SYNC и в зависимости от используемой среды, это скорее исключение, чем правило.

SlimTom

Guest

19.11.2023 09:49:00

У тебя есть какие-нибудь предложения по улучшению производительности на подобном оборудовании, без необходимости покупать SAS-диски корпоративного уровня? Я пробовал разные рекомендации, но пока что с небольшим успехом. Трудно поверить, что я единственный, кто сталкивается с такой проблемой. Есть ли какие-нибудь инструменты мониторинга, чтобы выявить корень проблемы и помочь ее решить?

leesteken Guest	#6 0 19.11.2023 09:59:00 Жесткие диски SATA или NVMe для enterprise тоже работают (если у них есть PLP). Не используйте одиночный RAIDz1/2/3, а используйте массив зеркалирования (или массив RAIDz, если у вас десятки дисков). Убедитесь, что volblocksize, ashift и файловые системы VM выровнены, чтобы уменьшить усилие. Может, поэкспериментируйте с большими, медленными дисками и каким-то устройством... Я не знаю, что вы уже пробовали и хотите ли оптимизировать по размеру, скорости записи или скорости чтения (а я не эксперт). ZFS очень гибкий, но невозможно оптимизировать всё сразу. На этом форуме (и на форуме Proxmox Backup Server) много тем на эту тему. Простого решения на все случаи не существует. Также много информации вне этого форума, поскольку OpenZFS не ограничивается только Proxmox. Многие используют LVM вместо ZFS, потому что ZFS слишком сложный или избыточный для их задач.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры