http://proxmox.su Новое в теме Ceph: поведение при выходе узла из строя В этой статье я хочу рассказать о том, что происходит с кластером Ceph, когда один из узлов выходит из строя. И да, это может быть довольно неприятно, но Ceph обычно справляется с этим довольно хорошо. **Что прои форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 08 May 2026 05:34:47 +0300 Ceph: поведение при выходе узла из строя В этой статье я хочу рассказать о том, что происходит с кластером Ceph, когда один из узлов выходит из строя. И да, это может быть довольно неприятно, но Ceph обычно справляется с этим довольно хорошо. **Что прои Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет. Простите, я разместил свой вопрос не в той (английской) области. Снова. Что произойдет, если узлов больше трех? Ceph будет пытаться перебалансировать PGs до тех пор, пока OSD не заполнятся и не станут доступными только для чтения? Или Ceph прекратит перебалансировку в какой-то момент, чтобы допустить деградацию, но оставить возможность записи? Как в режиме обслуживания с установленным флагом "noout"? Или нам нужно зарезервировать дополнительное пространство для такого сценария, в дополнение к пространству, необходимому для трех реплик?
09.07.2025 08:20:00, dsn-bt.]]> http://proxmox.su/forum/messages/forum63/message304929/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ http://proxmox.su/forum/messages/forum63/message304929/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ Wed, 09 Jul 2025 08:20:00 +0300 Proxmox Виртуальная Среда Ceph: поведение при выходе узла из строя В этой статье я хочу рассказать о том, что происходит с кластером Ceph, когда один из узлов выходит из строя. И да, это может быть довольно неприятно, но Ceph обычно справляется с этим довольно хорошо. **Что прои Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
И вот тогда (рано или поздно) случатся плохие вещи. Ceph-пул в любом случае сразу же переходит в состояние деградирования — и остаётся в нём надолго. Ведь нет резервного узла, который мог бы принять данные (size=3) --> автоматическая репарация/самовосстановление невозможны. Вот почему лучше иметь что-то вроде пяти узлов с несколькими (четыре или больше!) OSD… Это английский раздел; вот ещё несколько подводных камней, которые я обнаружил во время "своего года с Ceph": https://forum.proxmox.com/threads/fabu-can-i-use-ceph-in-a-_very_-small-cluster.159671/ Тl;dr: Ceph требует гораздо больше ресурсов, чем абсолютный минимум, чтобы выполнить свои обещания. Удачи.
08.07.2025 20:00:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message304928/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ http://proxmox.su/forum/messages/forum63/message304928/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ Tue, 08 Jul 2025 20:00:00 +0300 Proxmox Виртуальная Среда Ceph: поведение при выходе узла из строя В этой статье я хочу рассказать о том, что происходит с кластером Ceph, когда один из узлов выходит из строя. И да, это может быть довольно неприятно, но Ceph обычно справляется с этим довольно хорошо. **Что прои Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нельзя это сделать всего с тремя узлами. Некуда развернуть механизм перераспределения. Это была бы проблема для всех трех узлов. Каждый OSD контролируется на предмет достижения максимального уровня заполнения. OSD, достигшие максимального уровня, перейдут в режим только для чтения. К моменту, когда это произойдет, максимальный уровень заполнения пула уже будет превышен, и весь пул станет доступным только для чтения. Вы будете получать предупреждения задолго до этого. Два узла могут продолжать предоставлять полный спектр услуг, но пул станет доступным только для чтения до тех пор, пока не появится больше места, И механизм rebalance не обеспечит достаточное количество OSD со свободным пространством.
08.07.2025 18:14:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message304927/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ http://proxmox.su/forum/messages/forum63/message304927/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ Tue, 08 Jul 2025 18:14:00 +0300 Proxmox Виртуальная Среда Ceph: поведение при выходе узла из строя В этой статье я хочу рассказать о том, что происходит с кластером Ceph, когда один из узлов выходит из строя. И да, это может быть довольно неприятно, но Ceph обычно справляется с этим довольно хорошо. **Что прои Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Стоит ещё раз освежить в памяти, что такое Ceph и как он работает. Ceph — это программно-определяемое хранилище, то есть там есть алгоритмы и правила. В типичной виртуальной среде правила пула выглядят так: реплицированный размер 3 шарда (членов) в группе размещения (PG), минимально необходимое количество для работы — 2. Каждый шард ОБЯЗАТЕЛЬНО должен быть размещен на другом хосте, чтобы соответствовать требованию. Итак, учитывая эти параметры, видно, что для устойчивости к отказу узла И самовосстановления вам НУЖНО иметь КАК МИНИМУМ 4 узла. Что касается ёмкости, то тут важно определить ваш "ПОЛНЫЙ" процент так, чтобы отказ узла не вывел хранилище из строя, или (N-1)/N * 0.8, где N — общая ёмкость OSD узла, когда все узлы имеют одинаковую ёмкость. Умножаем на 0.8, чтобы учесть ситуации, когда OSD заполнен. Но вы возразите: значит, я могу использовать только 60% своей ёмкости! Хуже, друг мой — помните, что каждая запись тройная, поэтому на практике это значит 20% вашей ёмкости, а не 60. И это просто плата за возможность ведения бизнеса; вся эта дисковая ёмкость предоставляется для того, чтобы у вас была непрерывность бизнеса в любой ситуации отказа, вплоть до выхода из строя целого узла.
09.07.2025 17:30:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message304926/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ http://proxmox.su/forum/messages/forum63/message304926/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ Wed, 09 Jul 2025 17:30:00 +0300 Proxmox Виртуальная Среда Ceph: поведение при выходе узла из строя В этой статье я хочу рассказать о том, что происходит с кластером Ceph, когда один из узлов выходит из строя. И да, это может быть довольно неприятно, но Ceph обычно справляется с этим довольно хорошо. **Что прои Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Добрый день, у меня вопрос по поводу поведения Ceph при выходе из строя узла.

Сценарий: Ceph-хранилище с 3+ узлами в конфигурации 3/2 и CephFS заполнено на 75+%

При внезапном выходе из строя узла Ceph начинает перераспределять или восстанавливать PGs для поддержания желаемого количества реплик. Что происходит, если места на OSD не хватает, чтобы вместить все PGs, и оставшиеся OSD полностью заполнены? Ceph просто перейдет в пониженном состоянии, но останется доступным, или он будет приостановлен до тех пор, пока не появится больше места?

Спасибо и наилучшие пожелания,
Björn
08.07.2025 16:31:00, dsn-bt.]]> http://proxmox.su/forum/messages/forum63/message304925/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ http://proxmox.su/forum/messages/forum63/message304925/74972-ceph_-povedenie-pri-vykhode-uzla-iz-stroya-v-etoy-state-ya-khochu-rasskazat-o-tom_-chto-proiskhodit-s-klasterom-ceph_-kogda-odin-iz-uzlov-vykhodit-iz-stroya.-i-da_-eto-mozhet-byt-dovolno-nepriyatno_-no-ceph-obychno-spravlyaetsya-s-etim-dovolno-khorosho.-_ Tue, 08 Jul 2025 16:31:00 +0300 Proxmox Виртуальная Среда