http://proxmox.su Новое в теме ZFS rpool перешёл в состояние деградировавшего состояния записи IO. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Mon, 15 Jun 2026 16:43:26 +0300 ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, не конкретные, а общий совет: сделай (проверенную) резервную копию перед тем, как начинать это приключение. Мой упомянутый способ добавления двух дополнительных дисков настолько ценен (с моей точки зрения), что ты можешь купить два USB-to-SATA адаптера. Они сейчас стоят копейки. Хоть я и не могу рекомендовать что-то подобное для постоянной работы, для таких задач, как миграция, они очень полезны. И это заставляет тебя осознать, почему добавление устройств ".../disks/by-id/*" (если память не изменяет) вместо использования "sdc" – это хороший совет... Собственно, я сделал именно так (заменил зеркальный "rpool"-vdev на более мелкую пару) год назад, используя именно этот подход. Не помню причину... Все заработало как положено. Один из важных финальных шагов – реально протестировать загрузку с обоих устройств.
08.04.2025 17:32:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message318601/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318601/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 17:32:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, я и боялся(лась) этого. Я искал(а) в интернете, но не нашёл(а) ничего внятного вроде "вот руководство, как это сделать". Можешь посоветовать что-нибудь? Не уверен(а), есть ли у меня вообще пара запасных SATA-портов, придётся проверять.
08.04.2025 16:11:00, pgesting.]]> http://proxmox.su/forum/messages/forum63/message318600/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318600/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 16:11:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Уменьшить пул — задача не из лёгких. Нельзя просто добавить к существующему vdev более компактное устройство; здесь vdev означает отдельный диск или существующее зеркало. Конечно, есть способы заменить большой rpool на устройства меньшего размера. Но это муторно и требует нескольких промежуточных шагов. В общих чертах: добавьте новые устройства как новый, дополнительный, зеркальный vdev. В наши дни можно просто удалить старый vdev, но только если задействованы зеркала. Эта операция "удалить" перенесет все данные на новый зеркальный vdev. Нужно правильно учесть нюансы "это должно быть загрузочным"...
08.04.2025 11:51:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message318599/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318599/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 11:51:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Более 4 лет – это вполне достойно для таких паршивых SSD в роли root-диска PVE! Думаю, проблема в этом: Код: 199 CRC_Error_Count -OSRCK 099 099 000 - 2
08.04.2025 11:50:00, JensF.]]> http://proxmox.su/forum/messages/forum63/message318598/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318598/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 11:50:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пробежался глазами слишком быстро. Я воспринимал это как "ни разу не запускалось" и 0 запусков, никогда не запускалось (хотя 0-это-успех), и просто перескочил к разделу с необработанными значениями. На сервере я обычно использую скрипт, который извлекает для меня самое важное, а когда нужно больше деталей, запускаю графический инструмент, который показывает необработанные и интерпретированные значения одновременно. Я слишком самоуверенно думал, что помню, как читать необработанные данные... но не помню. Извини за это. Вижу два сбоя, ожидаю увидеть их и в третьем, пробегаю глазами и вижу несуществующее. Подтверждение предубеждений снова возымело действие.
08.04.2025 11:48:00, aj@root.]]> http://proxmox.su/forum/messages/forum63/message318597/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318597/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 11:48:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Твой "smart.txt" выглядит нормально – для меня. Обрати внимание на строки 5, 177, 179, 187. К сожалению, они не совсем четко определены и, по сути, специфичны для поставщика. Твой "179 Used_Rsvd_Blk_Cnt_Tot   PO--C-   100   100   010    -    0" говорит мне (без перечитывания документации), что доступность составляет 100 %. Это значение будет уменьшаться по мере использования блоков. Когда оно опустится ниже 10, это можно будет считать потенциально проблемным использованием.
08.04.2025 11:43:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message318596/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318596/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 11:43:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, спасибо. Посмотрю, что значат эти цифры.

EDIT: Кажется, для Samsung Wear_Leveling_Count начинается со 100 и идет до 0. Значит, 22 — это что-то вроде 22% оставшейся жизни. Это логично, потому что износ в Proxmox — 72% (Интересно, износ в Proxmox рассчитывается на основе этого значения?). Судя по всему, Total LBA около 27TB. Зарезервированный блок пока не использован, но, судя по тому, что я читал, это ничего не значит. Возможно, это произойдет только при выходе из строя для потребительского устройства. Так что, возможно, ты прав, и я живу на последние деньки.
08.04.2025 11:41:00, pgesting.]]> http://proxmox.su/forum/messages/forum63/message318595/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318595/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 11:41:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
P.S. Возможно, я неправильно прочитал Smart Log. Я пропустил до разделов, которые обычно указывают на сбои, и там были высокие числа: Code: 177 Wear_Leveling_Count     PO--C-   028   028   000    -    1301
179 Used_Rsvd_Blk_Cnt_Tot   PO--C-   100   100   010    -    0 Однако, эти показания похожи, но отличаются на разных дисках. В моем, например: Code: 184 Error_Correction_Count  0x0032   100   100   000    Old_age   Always       -       0
180 Unused_Reserve_NAND_Blk 0x0033   000   000   000    Pre-fail  Always       -       47 А эти числа мало о чём говорят без контекста для бренда — иногда порог в 10 означает «10% осталось», иногда «10% использовано», а иногда «0x10, смотрите руководство, чтобы понять, что это значит». Ещё там написано, что всё в порядке, но в зависимости от диска "Passing" SMART может что-то значить, а может и нет. Были у меня диски, которые одновременно совершенно нерабочие, но при этом регистрировались как "Passing". Я бы ожидал, что Samsung выдаст правильный статус, так что это может указывать на то, что диск на самом деле в порядке.
08.04.2025 11:36:00, aj@root.]]> http://proxmox.su/forum/messages/forum63/message318594/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318594/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 11:36:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Можешь показать, на что мне стоит обращать внимание, чтобы убедиться в этом? Я ничего необычного не вижу в результатах SMART, использую их всего на 30%, сделал это намеренно. Они проработали около 4-5 лет. Это не мой "резервуар". У меня есть NAS WD Red накопители для моих данных. Это мой rpool, который является загрузочным устройством и содержит все мои LXCs и VMs и т.д. Я провожу короткие тесты ежедневно и длинные – еженедельно. Это видно в данных SMART, которые я выложил. Нет неудачных тестов. Вот почему я и спрашивал о помощи, чтобы понять, на что мне стоит обращать внимание, чтобы наверняка убедиться в аппаратном сбое. Я смотрю на информацию об износе, она примерно на 70%, так что это не неожиданно. Окей, спасибо. На что ты смотришь в SMART? Я тоже ничего необычного не вижу, но, возможно, что-то пропускаю… Да, это видел в предыдущем сообщении, спасибо. Еще я смотрел, что если я заменю этот накопитель на корпоративный, они будут разного размера. Получится ли в таком случае уменьшить размер другого накопителя, чтобы они могли зеркалироваться? Я бы тогда заменил хороший накопитель на корпоративный тоже, но предпочту делать это по одному, чтобы зеркалирование не останавливалось. Или, альтернативно, сделать кучу ZFS снапшотов всех моих данных, отправить их на резерв, и начинать всё с нуля с двух новых накопителей? Я, пожалуй, не буду этого делать.
08.04.2025 11:30:00, pgesting.]]> http://proxmox.su/forum/messages/forum63/message318593/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318593/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 11:30:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я это видел у нескольких хостов. В первый раз просто смотрю на SMART и обычно делаю "scrub + clear" – после физической проверки кабелей и разъемов. Во второй раз готовлюсь к замене. Решение о фактической замене диска зависит от ситуации, конечно… Чтобы фактически заменить ZFS диск, который является членом "rpool" и содержит механизм загрузки, нужно выполнить несколько дополнительных шагов помимо "zpool replace" для создания ожидаемой таблицы разделов и загрузчика: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_zfs_administration --> "Changing a failed bootable device"
08.04.2025 10:45:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message318592/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318592/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 10:45:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
"Enterprise class" (с PLP) даёт нам две особенности: во-первых, гарантирует, что данные, записанные асинхронно, будут записаны, даже если произойдёт сбой питания – это повышает целостность данных. Во-вторых, позволяет включить локальный буфер для синхронных записей – без этого они бы по идее сразу записывались на диск, что может быть довольно медленно. Для надёжной и быстрой системы я действительно хочу обе эти особенности.
08.04.2025 10:31:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message318591/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318591/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 10:31:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Почти на 90% уверен, что это аппаратная поломка – о ней сообщают во всех трёх местах, где ты показывал. Пора заказывать новый диск. Если какие-то данные для тебя важны, я бы порекомендовал немедленно их бэкапить или выключить эту машину. У тебя два одинаковых диска, и они находились в зеркале, получая примерно одинаковое количество записей, поэтому, скорее всего, они выйдут из строя примерно в одно и то же время. Хорошая стратегия при использовании потребительских дисков – покупать разные бренды – или хотя бы разные модели – чтобы они не выходили из строя через дни или часы друг от друга. Не смотри только на бенчмарки Linus Tech Tips – они хороши для игровых машин, но не ориентированы на серверы. Вместо этого смотри на IOPS, DWPD и MLC или TLC (Evos имеют QLC, которые быстро выходят из строя). Покупай намного больше, чем тебе нужно – тогда ты получишь больше износоустойчивости. Предприятие-диски дороже (и длиннее), потому что у них больше чипов с меньшей плотностью. Рассмотри NAS-диски (например, WD Red). Запускай тесты smartctl еженедельно или так – тогда ты получишь более точные данные при запуске сводки. Этот сайт я рекомендую использовать для спецификации потребительских дисков, потому что он перечисляет вещи, которые потребители обычно не считают или не знают: https://www.techpowerup.com/. Например, вот их обзор NAS-диска WD Red: и, в отличие почти от любого другого сайта, он действительно охватывает DWPD (0.7 – ОЧЕНЬ хорошо для потребительского диска) и IOPS (не то, насколько "быстрый" диск, а то, насколько "параллельный" он – в каком-то смысле – полезно при запуске ВМ): https://www.techpowerup.com/ssd-specs/western-digital-red-sn700-4-tb.d1621 (важно: я предполагаю, что это точно, и они не придумывают числа, но некоторую информацию трудно проверить). Также, вот как выглядит информация об уровне износа: Эти потребительские диски быстро выходят из строя... Еще один полезный совет: если диск не является диском предприятия и не показывает, что уровень износа увеличивается через 2-3 месяца, это, вероятно, бомба замедленного действия. Замени его на более качественный, брендовый диск как можно скорее. Чем больше, тем лучше.
08.04.2025 10:02:00, aj@root.]]> http://proxmox.su/forum/messages/forum63/message318590/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318590/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 10:02:00 +0300 Proxmox Виртуальная Среда ZFS rpool перешёл в состояние деградировавшего состояния записи IO. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я уже около 4 года использую proxmox в домашней лаборатории, но я, конечно, не эксперт. У меня два потребительских SSD Samsung EVO 860 в зеркале для моего rpool. (Я знаю, что ZFS будет их изнашивать, просто не уверен, это ли происходит или просто случайность). Одно из них, похоже, вышло из строя из-за ошибки записи. Вот что я получаю из zpool status:
```
Code:
pool: rpool
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
   Sufficient replicas exist for the pool to continue functioning in a
   degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
   repaired.
 scan: scrub repaired 0B in 0 days 00:35:12 with 0 errors on Sun Mar  9 00:59:15 2025
config:

   NAME                                                   STATE     READ WRITE CKSUM
   rpool                                                  DEGRADED     0     0     0
     mirror-0                                             DEGRADED     0     0     0
       ata-Samsung_SSD_860_EVO_1TB_S4X6NF0M840750T-part3  FAULTED      0    21     0  too many errors
       ata-Samsung_SSD_860_EVO_1TB_S4X6NF0MC07932E-part3  ONLINE       0     0     0

errors: No known data errors
```
Я приложил SMART для диска, а также логи dmesg на момент, когда я думаю, произошел сбой. Я просматривал форумы, и большинство советов сводятся к "посмотри dmesg", но я не уверен, что искать. Стоит попробовать очистить ошибку и сделать scrub, чтобы посмотреть, исчезнет ли она? Или это плохая идея для ZFS зеркала загрузочного диска (rpool)?
08.04.2025 08:00:00, pgesting.]]> http://proxmox.su/forum/messages/forum63/message318589/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. http://proxmox.su/forum/messages/forum63/message318589/76893-zfs-rpool-pereshyel-v-sostoyanie-degradirovavshego-sostoyaniya-zapisi-io. Tue, 08 Apr 2025 08:00:00 +0300 Proxmox Виртуальная Среда