Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Высокая нагрузка приводит к износу SSD в Proxmox.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Высокая нагрузка приводит к износу SSD в Proxmox., Proxmox Виртуальная Среда
     
    ksl28
    Guest
    #1
    0
    03.01.2024 08:44:00
    Привет всем, с Новым годом! Я начал замечать тревожную тенденцию на обоих моих узлах Proxmox VE: диски M.2 изнашиваются довольно быстро. Оба узла идентичны по железу и конфигурации. 6.2.16-12-pve 2 x Samsung SSD 2TB 980 Pro (пока используется только один на каждом узле) — и оба настроены с ext4. Узлы были установлены 09.09.2023. Я возьму второй узел (dk1pve02) в качестве примера: виртуальные машины на узле потребляют около 500 ГБ в общей сложности, и многие из них статические. То есть, они, конечно, будут получать обновления, но моя лучшая оценка — 2-3 ГБ на ВМ в месяц. Если я смотрю S.M.A.R.T. информацию в PVE, то указано, что диск изношен на 2% и на него записано 8.82 ТБ. На 06.12.2023 эта цифра была 6.40 ТБ — значит, с тех пор записано более 2.4 ТБ. 500 ГБ диск 850 Pro был из ESXi, который содержал те же виртуальные машины — и за 4 года изношенность составила 7%. Я честно не могу понять, что вызывает все эти записи, но я довольно уверен, что это не мои виртуальные машины — учитывая, что они ничего не делают. Я постарался найти решение сам и прочитал много информации о том, что не стоит использовать ZFS на потребительских дисках (чего я и не делаю и т. д.). Как я могу определить, что вызывает эту нагрузку?
     
     
     
    ligistx
    Guest
    #2
    0
    02.04.2024 06:49:00
    Спасибо, что подсказал этот полезный скрипт. Все довольно просто, надеюсь, он поможет спасти мои SSD, потому что износ просто сумасшедший. По данным SMART, я вижу примерно 20-30 ТБ записанных данных в день. Просто безумие.
     
     
     
    Dunuin
    Guest
    #3
    0
    02.04.2024 07:20:00
    Тогда либо придется писать очень много, либо что-то настроено неправильно. Я бы проверил журнал с помощью journald, проверил конфигурацию хранилища (например, чтобы ты не используешь ashift=9 с дисками с 4K сектором) и проанализировал с помощью iotop и iostat, что вызывает эти записи.
     
     
     
    ligistx
    Guest
    #4
    0
    02.04.2024 14:02:00
    Как мне вообще это проверять? Я кое-что понимаю, чтобы быть опасным, но не уверен, как разобраться с этими рекомендациями.
     
     
     
    Dunuin
    Guest
    #5
    0
    02.04.2024 14:15:00
    Установи iotop и sysstat: apt update && apt install iotop sysstat. iotop -a покажет, какие процессы вызывают наибольший ввод-вывод. iostat 900 2 займёт 15 минут и покажет, какой диск и какой виртуальный диск вызывает сколько ввода-вывода и сколько записанных данных. Что касается проверки, если что-то настроено неправильно, то это уже настоящая бездна. Без глубокого погружения в настройки и проверки кучи конфигов, простого способа это проверить не существует.
     
     
     
    ligistx
    Guest
    #6
    0
    03.04.2024 06:20:00
    Как сопоставить виртуальные диски с ВМ при запуске iostat? Вижу много zd, предположу, что это zpools, по одному на диск? Или может быть datasets? ЗFS знаю на достаточно базовом уровне, но не уверен, как понять, какая ВМ относится к какому "zd": Вот несколько из них: Судя по iotop, похоже, это моя ВМ pfSense, что логично, скорее всего, она пишет ОЧЕНЬ много логов. Но мне нужно сопоставить это с iostat, чтобы быть уверенным.
     
     
     
    ligistx
    Guest
    #7
    0
    03.04.2024 06:48:00
    К слову, похоже, одна VM генерирует значительно больше записей, аж на 2 порядка. Просто нужно выяснить, как подтвердить, что это действительно pfSense...
     
     
     
    gfngfn256
    Guest
    #8
    0
    03.04.2024 09:43:00
    Я долго ломал голову над этим постом/дискуссией, пытаясь понять, как вообще это возможно – пока не выяснил, что ты не OP и используешь ZFS! Мы вообще ничего не знаем о твоей HW/SW-конфигурации – это, конечно, сильно повлияет на ситуацию. В общем, ZFS – это совсем другая машина для обработки дисков, не уверен, что вообще что-то не так. Отдельная тема была бы полезнее.
     
     
     
    Dunuin
    Guest
    #9
    0
    03.04.2024 12:37:00
    Попробуй использовать `find /dev/zvol -type l -print -exec readlink {} \;` для всех zvols или `udevadm info /dev/zdXXX | grep DEVLINKS` для конкретного. Это покажет тебе, к какому zvol и какой VMID в имени, так что ты сможешь увидеть, какому VM принадлежит этот zvol. Это твои zvols, по одному на каждый виртуальный диск VM в твоих ZFS пулах. Iostat не покажет тебе LXC или datasets, потому что они используют файловые системы, а не блочные устройства. Убедись, что ты установил pfSense на UFS, а не на ZFS, потому что ZFS имеет огромные накладные расходы, а ZFS на ZFS будет экспоненциально увеличивать коэффициент увеличения записи. Также есть опция в веб-интерфейсе OPNsense для хранения логов на tmpfs, чтобы логи записывались только в RAM и не влияли на диски. Я думаю, что и у pfSense есть похожая опция.
     
     
     
    ligistx
    Guest
    #10
    0
    03.04.2024 16:26:00
    Я зашёл сюда только в ответ на этот замечательный скрипт, который помещает логи Proxmox в оперативную память. Установил как ZFS… что, конечно, не помогает. Не представлял, насколько сильно это вызовет увеличение числа операций записи. В итоге отключил некоторые дополнительные пакеты, установленные специально для логирования, и это уменьшило количество операций записи в целую степень, но я не вижу, как можно писать логи в оперативку в pfSense. Понадобится разобраться в этом подробнее. Документация намекает, что есть опция для этого, но я не могу понять, что это за опция.
     
     
     
    Neobin
    Guest
    #11
    0
    06.04.2024 06:21:00
    "Система" -> "Дополнительно" -> "Разное" -> "Настройки диска RAM": https://docs.netgate.com/pfsense/en/latest/config/advanced-misc.html#ram-disk-settings
     
     
     
    ligistx
    Guest
    #12
    0
    06.04.2024 06:49:00
    Спасибо, вчера уже заработало. Похоже, pfblocker с первого раза был немного поломан, но теперь всё исправлено. Главным виновником оказался Pfsense, я снизил скорость записи с примерно 10 МБ/с до чуть меньше 1 – огромная разница. Еще я использовал скрипт для Proxmox, чтобы перенести логи Proxmox в оперативную память. Так что оба этих фактора повлияли на это снижение.
     
     
     
    Arnavisca
    Guest
    #13
    0
    14.05.2024 20:55:00
    Привет. У меня та же проблема. Ты оставил Proxmox на ZFS или переустановил Proxmox на UFS? Как ты настроил параметры диска? Можешь выложить скриншот настроек?
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры