Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    огромная задержка ввода-вывода ZFS

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    огромная задержка ввода-вывода ZFS, Proxmox Виртуальная Среда
     
    coldzeek
    Guest
    #1
    0
    04.02.2020 17:22:00
    Привет, я недавно мигрировал на Proxmox 6.1-5 с ESXi и столкнулся с проблемой задержки ввода-вывода. У меня три пула ZFS: datastore0: 2 NVME Silicon Motion SM2263XT - зеркалирование (ashift=12, atime=off) 1tb datastore1: 7 HDD Toshiba HDWD130 - raidz1 (ashift=12, compression=lz4, atime=off) 19tb datastore2: 3 HDD Toshiba DT01ACA200 - raidz1 (ashift=12, atime=off) 5,3tb ЦП AMD Epyc 7551 ОЗУ ECC 128gb swapoff параметры zfs zfs_arc_max=25179869184 Проблема: если я перемещаю объем kvm или lxc с datastore 1 на datastore 2, у меня возникает задержка ввода-вывода около 30%-35%. И ВМ на datastore0 имеет очень большой отклик в это время. Сервер не перегружен, средняя нагрузка ~10%.
     
     
     
    wolfgang
    Guest
    #2
    0
    10.04.2020 07:04:00
    Как быстро ваши устройства ZIL с синхронными записями 4k? Вы можете протестировать это таким образом. Код: fio --size=20G --bs=4k --rw=write --direct=1 --sync=1 --runtime=60 --group_reporting --name=test --ramp_time=5s --filename=/dev/sd<x>
     
     
     
    wolfgang
    Guest
    #3
    0
    07.04.2020 06:27:00
    Привет, как быстро работает ваш SSD ZIL (логи) при 4k синхронных записях? Если он не так уж быстр, это может стать узким местом. Я бы также рассматривал возможность удаления кэш-устройства, так как это требует памяти, которая недоступна для ARC.
     
     
     
    coldzeek
    Guest
    #4
    0
    06.04.2020 16:13:00
    Здравствуйте, форум. Я изменил свою конфигурацию, но проблема в том, что если я начинаю загрузку ZFS (например, выполняя резервное копирование через SFTP большого количества мелких файлов по 30-150 КБ, за 1,5 часа скопировал ~48000 файлов или запускаю базу данных MySQL), то задержка ввода-вывода быстро растет, и остальные контейнеры и виртуальные машины очень замедляются. Задержка ввода-вывода ~ 20%-35%. Я попытался сделать тонкие настройки ZFS и MySQL, и это дало результаты, но любые операции с файлами вызывают большие тормоза в виртуальных средах. У меня есть один пул ZFS: datastore1: SATA 6 HDD Toshiba HDWD130 - raidz1 (ashift=12, compression=lz4, atime=off) + логи: msata SSD 256 ГБ + кэш: NVME SSD 1024 ГБ + резервный: SATA 1 HDD Toshiba HDWD130, работающий на 11 LXC и 4 KVM. Процессор AMD Epyc 7551, оперативная память ECC 128 ГБ, swapoff. Опции ZFS: zfs_arc_max = 0. Спойлер: pveversion -v proxmox-ve: 6.1-2 (работает ядро: 5.3.18-3-pve) pve-manager: 6.1-8 (работает версия: 6.1-8/806edfe1) pve-kernel-helper: 6.1-7 pve-kernel-5.3: 6.1-6 pve-kernel-5.3.18-3-pve: 5.3.18-3 pve-kernel-5.3.18-2-pve: 5.3.18-2 pve-kernel-5.3.10-1-pve: 5.3.10-1 ceph-fuse: 12.2.11+dfsg1-2.1+b1 corosync: 3.0.3-pve1 criu: 3.11-3 glusterfs-client: 5.5-3 ifupdown: остаточная конфигурация ifupdown2: 2.0.1-1+pve8 ksm-control-daemon: 1.3-1 libjs-extjs: 6.0.1-10 libknet1: 1.15-pve1 libpve-access-control: 6.0-6 libpve-apiclient-perl: 3.0-3 libpve-common-perl: 6.0-17 libpve-guest-common-perl: 3.0-5 libpve-http-server-perl: 3.0-5 libpve-storage-perl: 6.1-5 libqb0: 1.0.5-1 libspice-server1: 0.14.2-4~pve6+1 lvm2: 2.03.02-pve4 lxc-pve: 3.2.1-1 lxcfs: 4.0.1-pve1 novnc-pve: 1.1.0-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.1-3 pve-cluster: 6.1-4 pve-container: 3.0-23 pve-docs: 6.1-6 pve-edk2-firmware: 2.20200229-1 pve-firewall: 4.0-10 pve-firmware: 3.0-6 pve-ha-manager: 3.0-9 pve-i18n: 2.0-4 pve-qemu-kvm: 4.1.1-4 pve-xtermjs: 4.3.0-1 pve-zsync: 2.0-2 qemu-server: 6.1-7 smartmontools: 7.1-pve2 spiceterm: 3.1-1 vncterm: 1.6-1 zfsutils-linux: 0.8.3-pve1. Есть какие-нибудь предложения?
     
     
     
    coldzeek
    Guest
    #5
    0
    07.04.2020 11:23:00
    Спасибо за ваш ответ, Вольфганг. Я отключил ZIL и буду следить за ситуацией.
     
     
     
    coldzeek
    Guest
    #6
    0
    09.04.2020 19:09:00
    Ситуация не изменилась: (iotop -a-P -o-d 5 показывает, что проблема заключается в чтении файлов, а не в записи.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры