Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    ZFS rpool перешёл в состояние деградировавшего состояния записи IO.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    ZFS rpool перешёл в состояние деградировавшего состояния записи IO., Proxmox Виртуальная Среда
     
    pgesting
    Guest
    #1
    0
    08.04.2025 08:00:00
    Я уже около 4 года использую proxmox в домашней лаборатории, но я, конечно, не эксперт. У меня два потребительских SSD Samsung EVO 860 в зеркале для моего rpool. (Я знаю, что ZFS будет их изнашивать, просто не уверен, это ли происходит или просто случайность). Одно из них, похоже, вышло из строя из-за ошибки записи. Вот что я получаю из zpool status:
    ```
    Code:
    pool: rpool
    state: DEGRADED
    status: One or more devices are faulted in response to persistent errors.
       Sufficient replicas exist for the pool to continue functioning in a
       degraded state.
    action: Replace the faulted device, or use 'zpool clear' to mark the device
       repaired.
     scan: scrub repaired 0B in 0 days 00:35:12 with 0 errors on Sun Mar  9 00:59:15 2025
    config:

       NAME                                                   STATE     READ WRITE CKSUM
       rpool                                                  DEGRADED     0     0     0
         mirror-0                                             DEGRADED     0     0     0
           ata-Samsung_SSD_860_EVO_1TB_S4X6NF0M840750T-part3  FAULTED      0    21     0  too many errors
           ata-Samsung_SSD_860_EVO_1TB_S4X6NF0MC07932E-part3  ONLINE       0     0     0

    errors: No known data errors
    ```
    Я приложил SMART для диска, а также логи dmesg на момент, когда я думаю, произошел сбой. Я просматривал форумы, и большинство советов сводятся к "посмотри dmesg", но я не уверен, что искать. Стоит попробовать очистить ошибку и сделать scrub, чтобы посмотреть, исчезнет ли она? Или это плохая идея для ZFS зеркала загрузочного диска (rpool)?
     
     
     
    aj@root
    Guest
    #2
    0
    08.04.2025 10:02:00
    Почти на 90% уверен, что это аппаратная поломка – о ней сообщают во всех трёх местах, где ты показывал. Пора заказывать новый диск. Если какие-то данные для тебя важны, я бы порекомендовал немедленно их бэкапить или выключить эту машину. У тебя два одинаковых диска, и они находились в зеркале, получая примерно одинаковое количество записей, поэтому, скорее всего, они выйдут из строя примерно в одно и то же время. Хорошая стратегия при использовании потребительских дисков – покупать разные бренды – или хотя бы разные модели – чтобы они не выходили из строя через дни или часы друг от друга. Не смотри только на бенчмарки Linus Tech Tips – они хороши для игровых машин, но не ориентированы на серверы. Вместо этого смотри на IOPS, DWPD и MLC или TLC (Evos имеют QLC, которые быстро выходят из строя). Покупай намного больше, чем тебе нужно – тогда ты получишь больше износоустойчивости. Предприятие-диски дороже (и длиннее), потому что у них больше чипов с меньшей плотностью. Рассмотри NAS-диски (например, WD Red). Запускай тесты smartctl еженедельно или так – тогда ты получишь более точные данные при запуске сводки. Этот сайт я рекомендую использовать для спецификации потребительских дисков, потому что он перечисляет вещи, которые потребители обычно не считают или не знают: https://www.techpowerup.com/. Например, вот их обзор NAS-диска WD Red: и, в отличие почти от любого другого сайта, он действительно охватывает DWPD (0.7 – ОЧЕНЬ хорошо для потребительского диска) и IOPS (не то, насколько "быстрый" диск, а то, насколько "параллельный" он – в каком-то смысле – полезно при запуске ВМ): https://www.techpowerup.com/ssd-specs/western-digital-red-sn700-4-tb.d1621 (важно: я предполагаю, что это точно, и они не придумывают числа, но некоторую информацию трудно проверить). Также, вот как выглядит информация об уровне износа: Эти потребительские диски быстро выходят из строя... Еще один полезный совет: если диск не является диском предприятия и не показывает, что уровень износа увеличивается через 2-3 месяца, это, вероятно, бомба замедленного действия. Замени его на более качественный, брендовый диск как можно скорее. Чем больше, тем лучше.
     
     
     
    UdoB
    Guest
    #3
    0
    08.04.2025 10:31:00
    "Enterprise class" (с PLP) даёт нам две особенности: во-первых, гарантирует, что данные, записанные асинхронно, будут записаны, даже если произойдёт сбой питания – это повышает целостность данных. Во-вторых, позволяет включить локальный буфер для синхронных записей – без этого они бы по идее сразу записывались на диск, что может быть довольно медленно. Для надёжной и быстрой системы я действительно хочу обе эти особенности.
     
     
     
    UdoB
    Guest
    #4
    0
    08.04.2025 10:45:00
    Я это видел у нескольких хостов. В первый раз просто смотрю на SMART и обычно делаю "scrub + clear" – после физической проверки кабелей и разъемов. Во второй раз готовлюсь к замене. Решение о фактической замене диска зависит от ситуации, конечно… Чтобы фактически заменить ZFS диск, который является членом "rpool" и содержит механизм загрузки, нужно выполнить несколько дополнительных шагов помимо "zpool replace" для создания ожидаемой таблицы разделов и загрузчика: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_zfs_administration --> "Changing a failed bootable device"
     
     
     
    pgesting
    Guest
    #5
    0
    08.04.2025 11:30:00
    Можешь показать, на что мне стоит обращать внимание, чтобы убедиться в этом? Я ничего необычного не вижу в результатах SMART, использую их всего на 30%, сделал это намеренно. Они проработали около 4-5 лет. Это не мой "резервуар". У меня есть NAS WD Red накопители для моих данных. Это мой rpool, который является загрузочным устройством и содержит все мои LXCs и VMs и т.д. Я провожу короткие тесты ежедневно и длинные – еженедельно. Это видно в данных SMART, которые я выложил. Нет неудачных тестов. Вот почему я и спрашивал о помощи, чтобы понять, на что мне стоит обращать внимание, чтобы наверняка убедиться в аппаратном сбое. Я смотрю на информацию об износе, она примерно на 70%, так что это не неожиданно. Окей, спасибо. На что ты смотришь в SMART? Я тоже ничего необычного не вижу, но, возможно, что-то пропускаю… Да, это видел в предыдущем сообщении, спасибо. Еще я смотрел, что если я заменю этот накопитель на корпоративный, они будут разного размера. Получится ли в таком случае уменьшить размер другого накопителя, чтобы они могли зеркалироваться? Я бы тогда заменил хороший накопитель на корпоративный тоже, но предпочту делать это по одному, чтобы зеркалирование не останавливалось. Или, альтернативно, сделать кучу ZFS снапшотов всех моих данных, отправить их на резерв, и начинать всё с нуля с двух новых накопителей? Я, пожалуй, не буду этого делать.
     
     
     
    aj@root
    Guest
    #6
    0
    08.04.2025 11:36:00
    P.S. Возможно, я неправильно прочитал Smart Log. Я пропустил до разделов, которые обычно указывают на сбои, и там были высокие числа: Code: 177 Wear_Leveling_Count     PO--C-   028   028   000    -    1301
    179 Used_Rsvd_Blk_Cnt_Tot   PO--C-   100   100   010    -    0 Однако, эти показания похожи, но отличаются на разных дисках. В моем, например: Code: 184 Error_Correction_Count  0x0032   100   100   000    Old_age   Always       -       0
    180 Unused_Reserve_NAND_Blk 0x0033   000   000   000    Pre-fail  Always       -       47 А эти числа мало о чём говорят без контекста для бренда — иногда порог в 10 означает «10% осталось», иногда «10% использовано», а иногда «0x10, смотрите руководство, чтобы понять, что это значит». Ещё там написано, что всё в порядке, но в зависимости от диска "Passing" SMART может что-то значить, а может и нет. Были у меня диски, которые одновременно совершенно нерабочие, но при этом регистрировались как "Passing". Я бы ожидал, что Samsung выдаст правильный статус, так что это может указывать на то, что диск на самом деле в порядке.
     
     
     
    pgesting
    Guest
    #7
    0
    08.04.2025 11:41:00
    Окей, спасибо. Посмотрю, что значат эти цифры.

    EDIT: Кажется, для Samsung Wear_Leveling_Count начинается со 100 и идет до 0. Значит, 22 — это что-то вроде 22% оставшейся жизни. Это логично, потому что износ в Proxmox — 72% (Интересно, износ в Proxmox рассчитывается на основе этого значения?). Судя по всему, Total LBA около 27TB. Зарезервированный блок пока не использован, но, судя по тому, что я читал, это ничего не значит. Возможно, это произойдет только при выходе из строя для потребительского устройства. Так что, возможно, ты прав, и я живу на последние деньки.
     
     
     
    UdoB
    Guest
    #8
    0
    08.04.2025 11:43:00
    Твой "smart.txt" выглядит нормально – для меня. Обрати внимание на строки 5, 177, 179, 187. К сожалению, они не совсем четко определены и, по сути, специфичны для поставщика. Твой "179 Used_Rsvd_Blk_Cnt_Tot   PO--C-   100   100   010    -    0" говорит мне (без перечитывания документации), что доступность составляет 100 %. Это значение будет уменьшаться по мере использования блоков. Когда оно опустится ниже 10, это можно будет считать потенциально проблемным использованием.
     
     
     
    aj@root
    Guest
    #9
    0
    08.04.2025 11:48:00
    Пробежался глазами слишком быстро. Я воспринимал это как "ни разу не запускалось" и 0 запусков, никогда не запускалось (хотя 0-это-успех), и просто перескочил к разделу с необработанными значениями. На сервере я обычно использую скрипт, который извлекает для меня самое важное, а когда нужно больше деталей, запускаю графический инструмент, который показывает необработанные и интерпретированные значения одновременно. Я слишком самоуверенно думал, что помню, как читать необработанные данные... но не помню. Извини за это. Вижу два сбоя, ожидаю увидеть их и в третьем, пробегаю глазами и вижу несуществующее. Подтверждение предубеждений снова возымело действие.
     
     
     
    JensF
    Guest
    #10
    0
    08.04.2025 11:50:00
    Более 4 лет – это вполне достойно для таких паршивых SSD в роли root-диска PVE! Думаю, проблема в этом: Код: 199 CRC_Error_Count -OSRCK 099 099 000 - 2
     
     
     
    UdoB
    Guest
    #11
    0
    08.04.2025 11:51:00
    Уменьшить пул — задача не из лёгких. Нельзя просто добавить к существующему vdev более компактное устройство; здесь vdev означает отдельный диск или существующее зеркало. Конечно, есть способы заменить большой rpool на устройства меньшего размера. Но это муторно и требует нескольких промежуточных шагов. В общих чертах: добавьте новые устройства как новый, дополнительный, зеркальный vdev. В наши дни можно просто удалить старый vdev, но только если задействованы зеркала. Эта операция "удалить" перенесет все данные на новый зеркальный vdev. Нужно правильно учесть нюансы "это должно быть загрузочным"...
     
     
     
    pgesting
    Guest
    #12
    0
    08.04.2025 16:11:00
    Спасибо, я и боялся(лась) этого. Я искал(а) в интернете, но не нашёл(а) ничего внятного вроде "вот руководство, как это сделать". Можешь посоветовать что-нибудь? Не уверен(а), есть ли у меня вообще пара запасных SATA-портов, придётся проверять.
     
     
     
    UdoB
    Guest
    #13
    0
    08.04.2025 17:32:00
    Нет, не конкретные, а общий совет: сделай (проверенную) резервную копию перед тем, как начинать это приключение. Мой упомянутый способ добавления двух дополнительных дисков настолько ценен (с моей точки зрения), что ты можешь купить два USB-to-SATA адаптера. Они сейчас стоят копейки. Хоть я и не могу рекомендовать что-то подобное для постоянной работы, для таких задач, как миграция, они очень полезны. И это заставляет тебя осознать, почему добавление устройств ".../disks/by-id/*" (если память не изменяет) вместо использования "sdc" – это хороший совет... Собственно, я сделал именно так (заменил зеркальный "rpool"-vdev на более мелкую пару) год назад, используя именно этот подход. Не помню причину... Все заработало как положено. Один из важных финальных шагов – реально протестировать загрузку с обоих устройств.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры