Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Переезд с ZFS на Ceph?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Переезд с ZFS на Ceph?, Proxmox Виртуальная Среда
     
    Springtime
    Guest
    #1
    0
    02.04.2025 12:40:00
    Привет, возможно ли мигрировать с реплицированного ZFS на Ceph, имея кластер из 3 узлов, без прерывания работы продакшена? Замечу, что Ceph никогда не использовал, пока что вообще ничего о нём не знаю, и всё хранилище встроено: 3 сервера с HBA и по 8 флеш-накопителей у каждого. Спасибо.
     
     
     
    SteveITS
    Guest
    #2
    0
    04.05.2025 22:03:00
    ceph osd pool autoscale-status показывает размер данных, хранящихся в каждом пуле, а также целевой размер и другую информацию. В нашей системе сейчас отображается ~870 G, а в GUI используется ~2.9 TiB.
     
     
     
    rungekutta
    Guest
    #3
    0
    02.04.2025 13:14:00
    Твоя цель – использовать то же самое оборудование, включая диски, перейти с ZFS на Ceph и работать на production-сервере, ничего не нарушая? *Возможно*, теоретически это возможно при очень серьезном планировании (и с определенными рисками), но я бы рекомендовал сначала почитать про Ceph, понять, как ты хочешь его настроить, а затем запланировать время простоя во время перехода. Тебе, вероятно, потребуется какое-то промежуточное хранилище, пока ты перестраиваешь хранилище в Ceph-кластер и затем переносишь данные обратно. Я делал что-то похожее, *но* моё Ceph-хранилище было на отдельном оборудовании (дисках), поэтому я мог запускать оба варианта параллельно во время перехода.
     
     
     
    Springtime
    Guest
    #4
    0
    02.04.2025 13:33:00
    Больше-меньше, я ожидал такой ответ. Тем не менее, спрашивать не вредно. Промежуточного хранилища нет, потому что сам файловый сервер больше, чем локальные диски, на которых стоит Proxmox (которые я, в теории, мог бы использовать как промежуточное хранилище). Так что, полагаю, самый чистый вариант — сделать бекап ВМ, удалить ZFS, создать Ceph, а потом восстановить из бекапа. И это, конечно, на выходные.
     
     
     
    ness1602
    Guest
    #5
    0
    02.04.2025 14:08:00
    Да, если у тебя на одних и тех же машинах zfs и ceph, просто живой миграцией перемещай хранилище с одного на другой. Это всё.
     
     
     
    rungekutta
    Guest
    #6
    0
    02.04.2025 14:30:00
    Да. Разве что у вас достаточно железа, чтобы одновременно запускать Ceph и ZFS и переходить с одного на другой.
     
     
     
    UdoB
    Guest
    #7
    0
    02.04.2025 20:27:00
    Хочешь улучшить текущую ситуацию, верно? Ты уверен, что тебе нужен Ceph всего с тремя узлами? Надёжная система с такими функциями, как самовосстановление, имеет свои подводные камни — помимо (обычно) гораздо более низкой производительности по сравнению с локальным хранилищем: [TUTORIAL] Тред 'FabU: могу ли я использовать Ceph в _очень_ маленьком кластере?' 26 декабря 2024 года. Ceph великолепен, но ему требуются ресурсы выше теоретического минимума для надёжной работы. Мои предположения для следующего текста: ты хочешь использовать Ceph потому что... почему бы и нет? ты хочешь использовать высокую доступность — что требует совместно используемое хранилище (стоит отметить, что для полного решения требуется больше вещей, таких как избыточная сетевая инфраструктура и блоки питания). Ты планируешь начать как можно меньше (и дешевле), потому что это... “всего лишь” домашняя лаборатория. Ты планируешь три узла. Каждый узел имеет отдельный выделенный диск для использования в качестве «OSD». Это задокументировано... UdoB ceph кластер мини ПК минимизировать совместно используемую файловую систему хранилище Ответы: 30 Форум: Proxmox VE: Установка и настройка. Как фанат ZFS я должен упомянуть и вот это: [TUTORIAL] Тред 'FabU: это просто небольшая конфигурация с ограниченными ресурсами и всего несколько дисков, стоит ли мне вообще использовать ZFS?' 3 января 2025 года. Стоит ли мне вообще использовать ZFS?​ В этот раз требует предварительного дисклеймера: я использую ZFS почти везде, где это легко возможно, хотя и существуют исключения. В любом случае я определённо предвзят в пользу ZFS. Что ж..., очевидный ответ, конечно: «Да, конечно» ;-) Интегрируемость ZFS обеспечивает целостность. Он предоставит точно те же самые данные, когда ты их прочитаешь, как они были записаны в какой-то момент в прошлом. «Но все файловые системы это делают, верно?» Да, но есть ещё кое-что. ZFS усердно работает над активным обеспечением корректности. А… UdoB потребительский класс корпоративный класс целостности зеркало raidz хранилище zfs Ответы: 1 Форум: Proxmox VE: Установка и настройка
     
     
     
    Springtime
    Guest
    #8
    0
    08.04.2025 13:48:00
    Что я прочитал до сих пор, я думаю, ответ: Да. Почему: Использование только 1/3 от общего объема хранилища вполне приемлемо, по крайней мере, здесь в офисе. У нас нет такого большого объема данных, даже не 1ТБ, и в данный момент, с использованием только 4 диска на каждом узле, у меня есть 3.6ТБ. А это будет увеличиваться, когда я добавлю дополнительные диски — у нас 3 узла, каждый с 8 SSD по 960ГБ. Все оригинальные корпоративные SSD HPE, одного типа на всех 3 узлах. А насчет места: с ZFS я использовал репликацию на два других узла, так что каждый узел может выйти из строя, и другой его подхватит, за исключением разницы между репликациями. Но, конечно... я могу выбрать и не делать этого. Единственное преимущество, которое я вижу в ZFS по сравнению с Ceph, когда дело касается HA, — это то, что с репликацией ZFS могут выйти из строя сразу два узла, если хватает хранилища/RAM/CPU. И у нас их хватает. Однако... при использовании ZFS я выбираю RAIDZ2, то есть я уже теряю некоторую избыточность на самом узле, и когда я реплицирую дважды, я теряю 2/3 от остатка. Так что ZFS RAIDZ2 с репликацией стоит мне гораздо больше места, если я все правильно понимаю. С Ceph, чтобы оставаться R/W, может выйти из строя только один узел, если я все правильно понимаю. И этого будет достаточно. Что касается OSD, я все еще не могу понять, что они делают, даже если я читал об этом. В основном я создал Ceph с 4 дисков с каждого узла, 4 SSD в настоящее время не используются. Я подумал о том, чтобы протестировать, как добавлять диски в Ceph-кластер. Как я понял, нужно создавать один OSD на физический диск. Текущая проблема — проверка сети, и во всех случаях я получаю полные 10Гб/с, за исключением iperf до Node3, который на одно поколение старше DL380, Gen9, а два других — Gen10. Но я создал отдельную тему об этом. О, и давайте я проясню один момент: это более или менее POC-среда. Чтобы узнать о Ceph. Потому что это единственная возможность, у нас есть, чтобы протестировать его, прежде чем даже думать о внедрении этого в наши центры обработки данных (у нас их два, каждый Azure Local на 6 узлах).
     
     
     
    UdoB
    Guest
    #9
    0
    08.04.2025 15:06:00
    Обычно минимальные значения для Ceph – "size=3,min_size=2". Это касается Нод, а не OSD, потому что "область отказа" (failure domain) – это, разумеется, "хост". То есть, каждое и всякое хранилище данных будет сохраняться трижды – один раз на каждом хосте. Понятно, что полезное пространство будет, очевидно, в одну треть от всего пространства на всех OSD. (На самом деле даже меньше: в момент отказа одного устройства Ceph начнет перераспределять данные ("PG"), и, следовательно, будет использовать больше места на выживших OSD, чем раньше. В итоге пул Ceph станет заполненным раньше, чем ожидалось. Полный пул – это плохо и для Ceph, и для ZFS – этого действительно стоит избегать.) Когда я использую репликацию ZFS с тремя нодами, я получаю ровно такое же соотношение 1/3. Все мои хранилища ZFS – это зеркалированные vdev. Этот аспект приводит к тому, что полезное пространство уменьшается вдвое по сравнению с Ceph – в моем конкретном примере настройки.
     
     
     
    SteveITS
    Guest
    #10
    0
    08.04.2025 18:17:00
    В целом, каждый диск — это OSD, да. Ceph будет хранить блок данных согласно настройкам... по умолчанию/обычно 3/2 будет хранить 1 копию блока на 3 серверах. Ceph сам выберет, какие OSD использовать. Если есть только 2 копии (OSD выходит из строя, сервер падает), он создаст еще одну. Если меньше 2 копий, данные для VM записать не получится. Плюсы: хранилище доступно всем физическим серверам (миграция VM копирует только содержимое RAM), диски можно добавлять в любой момент, чтобы увеличить пространство.
     
     
     
    Springtime
    Guest
    #11
    0
    09.04.2025 11:20:00
    Окей, если я правильно понимаю, в конфигурации 3/2 целый хост может выйти из строя. А что произойдет, если на одном из двух узлов откажутся дополнительные OSD (диски)? Допустим, один узел недоступен, и к тому же на одном из узлов отказали 2 SSD из 8? Но на каждом сервере по 8 OSD, то есть всего 24. По хранилищу: да, я очень хорошо знаю, что не стоит заполнять его как Ceph, так и ZFS. В данный момент используем около 1 ТБ, что не будет расти, если наши менеджеры не решат перенести какие-то нагрузки на этот кластер. Но вот что я не совсем понимаю. В 3/2 должно быть доступно только треть хранилища. Однако "Использование" на уровне дата-центра показывает 267 ГБ из 21 ТБ (1%). У меня в данный момент только одна ВМ на нем, все остальное распределено по локальным дискам. Если посмотреть на хранилище непосредственно на одном из узлов, там написано 84 ГБ из 7,18 ТБ. Получается, что общий объем и реальное свободное место из-за 3/2 показывается в хранилище (на каждом узле одно и то же). Хорошо знать, что использование вырастет, если один узел откажется. Это один из сценариев, который я хочу протестировать. Следующий логичный шаг для меня сейчас, раз все базовое настроено, — это изучение вопросов производительности, бенчмаркинга и тонкой настройки. Можете ли вы посоветовать конкретные способы бенчмаркинга, создания базовых показателей, как узнавать, что такое "хорошие числа"? Кроме того, мне очень нравится возможность создания CephFS, чтобы ISO не приходилось загружать 3 раза. Просто хорошее централизованное хранилище.
     
     
     
    Springtime
    Guest
    #12
    0
    09.04.2025 14:30:00
    Вот перевод текста сообщения на русский язык:

    Вот некоторые числа, и, как я уже говорил, не уверен, как их оценивать. Код: `:~# rados bench -p testbench 10 write --no-cleanup`

    `hints = 1`
    Поддерживается 16 одновременных операций записи данных объемом 4194304 байта в объекты размером 4194304 байта в течение 10 секунд или 0 объектов.

    Префикс объекта: benchmark_data_s02p00a3101_776180
     сек Текущие операции  Начато  Завершено  Средний MB/сек  Текущий MB/сек Последняя задержка (с) Средняя задержка (с)
       0       0         0         0         0         0           -           0
       1      16       224       208   831.846       832   0.0511275   0.0747983
       2      16       459       443   885.849       940    0.052232   0.0712619
       3      16       688       672   895.871       916    0.063132    0.070411
       4      16       908       892   891.871       880   0.0541496   0.0708804
       5      16      1132      1116   892.664       896   0.0287243   0.0711261
       6      16      1377      1361   907.194       980   0.0527882   0.0700263
       7      16      1623      1607   918.143       984    0.065819   0.0691246
       8      16      1871      1855   927.356       992   0.0560834    0.068565
       9      16      2103      2087   927.417       928    0.080184     0.06875
      10      16      2328      2312   924.666       900   0.0344433   0.0686554
    Общее время выполнения:         10.0628
    Общее количество операций записи:      2328
    Размер операции записи:             4194304
    Размер объекта:            4194304
    Пропускная способность (МБ/сек):     925.388
    Стандартное отклонение пропускной способности:       51.0442
    Максимальная пропускная способность (МБ/сек): 992
    Минимальная пропускная способность (МБ/сек): 832
    Среднее количество операций ввода/вывода в секунду:           231
    Стандартное отклонение операций ввода/вывода в секунду:            12.7611
    Максимальное количество операций ввода/вывода в секунду:               248
    Минимальное количество операций ввода/вывода в секунду:               208
    Средняя задержка (с):     0.0689401
    Стандартное отклонение задержки (с):      0.0517506
    Максимальная задержка (с):         1.09492
    Минимальная задержка (с):         0.0226393


    `:~# rados bench -p testbench 10 seq`

    `hints = 1`
     сек Текущие операции  Начато  Завершено  Средний MB/сек  Текущий MB/сек Последняя задержка (с) Средняя задержка (с)
       0       0         0         0         0         0           -           0
       1      15       538       523   2090.88      2092   0.0307482   0.0295879
       2      16      1065      1049   2097.26      2104   0.0243273   0.0296936
       3      16      1596      1580   2106.03      2124   0.0433334   0.0296689
       4      16      2156      2140   2139.43      2240    0.063928   0.0291874
    Общее время выполнения:       4.32856
    Общее количество операций чтения:     2328
    Размер операции чтения:            4194304
    Размер объекта:          4194304
    Пропускная способность (МБ/сек):   2151.29
    Среднее количество операций ввода/вывода в секунду:         537
    Стандартное отклонение операций ввода/вывода в секунду:          16.9902
    Максимальное количество операций ввода/вывода в секунду:             560
    Минимальное количество операций ввода/вывода в секунду:             523
    Средняя задержка (с):   0.0290851
    Максимальная задержка (с):       0.174107
    Минимальная задержка (с):       0.0134061


    `:~# rados bench -p testbench 10 rand`

    `hints = 1`
     сек Текущие операции  Начато  Завершено  Средний MB/сек  Текущий MB/сек Последняя задержка (с) Средняя задержка (с)
       0       0         0         0         0         0           -           0
       1      15       531       516    2063.1      2064   0.0161054   0.0299842
       2      16      1050      1034   2067.43      2072   0.0141886    0.028746
       3      16      1279      1263   1683.59       916   0.0160117   0.0267895
       4      16      1297      1281   1280.71        72   0.0160864   0.0266305
       5      15      1513      1498   1198.05       868   0.0381363   0.0526714
       6      15      2975      2960   1079.36        36   0.0274126   0.0529744
       7      6      2975      2969   989.422         0           -   0.0529744
    Общее время выполнения:       12.6516
    Общее количество операций чтения:     2975
    Размер операции чтения:            4194304
    Размер объекта:          4194304
    Пропускная способность (МБ/сек):   940.592
    Среднее количество операций ввода/вывода в секунду:         235
    Стандартное отклонение операций ввода/вывода в секунду:          216.918
    Максимальное количество операций ввода/вывода в секунду:             528
    Минимальное количество операций ввода/вывода в секунду:              0
    Средняя задержка (с):   0.0585469
    Максимальная задержка (с):       3.06513
    Минимальная задержка (с):       0.00262166
     
     
     
    SteveITS
    Guest
    #13
    0
    09.04.2025 16:39:00
    Ceph попытается перераспределить "отсутствующие" блоки хранилища. Если остальные 6 дисков смогут взять данные с этих двух вышедших из строя SSD, то все в порядке. Вот почему полезно иметь больше Ceph-узлов, чтобы отказ одного хоста (или перезагрузка) не вызвал проблем. Можно также попасть в неприятности, например, имея 3 узла с неравномерно распределенным хранилищем: 10 ТБ, 5 ТБ, 5 ТБ. Он не сможет использовать все 10 ТБ, и если этот узел выйдет из строя, то ему нужно будет переместить эти данные на два других узла. Я тоже недавно смотрел "Usage", но не продвинулся слишком далеко... кажется, GUI немного непоследователен в том, показывает ли он общий объем выделенного пространства или фактически используемый объем, но я думаю, что это сделано намеренно, в зависимости от того, где ты смотришь. В GUI можно пометить OSD как "out" и/или "down".
     
     
     
    Springtime
    Guest
    #14
    0
    09.04.2025 16:59:00
    Отлично, теперь всё понятно! Спасибо!
     
     
     
    SteveITS
    Guest
    #15
    0
    10.04.2025 18:55:00
    После того, как пришлось пересоздавать все наши OSD за эту неделю, я внимательнее посмотрел на число "x TiB из y TiB". Y, конечно, уменьшается, когда OSD помечается как недоступный. X тоже уменьшается, когда OSD помечается, а затем увеличивается при его ребалансировке. Другими словами, похоже, что X – это "занятое пространство прямо сейчас...n копий m PGs". Или, возможно, "среднее количество копий, умноженное на количество PGs" – лучше сформулировать. А затем "среднее количество копий на PG" либо выше, либо ниже целевого значения 3. Надеюсь, не слишком сильно ниже.
     
     
     
    Springtime
    Guest
    #16
    0
    11.04.2025 11:00:00
    Но это бы означало... даже если два узла из трех выйдут из строя, а у меня всё равно останется 8 OSD (типа, 8 SSD на одном сервере) и достаточно места на них, чтобы хранить 3 копии данных, всё будет в порядке, и кластер продолжит работать, потому что он фактически перебалансирует 3 копии данных по 8 SSD на одном узле. Я прав?
     
     
     
    SteveITS
    Guest
    #17
    0
    11.04.2025 16:01:00
    Ceph можно настроить так, чтобы требовалось определенное количество копий. Большинство используют значение по умолчанию 3/2 — 3 копии, 2 минимальные. Если количество копий блока меньше 2, то он становится не запиcываемым. Можно указать 1 минимальное количество копий, но если один из серверов выйдет из строя и у него окажется единственная копия блока данных, то эти данные пропадут. Можно изменить "домен сбоя" Ceph на "по диску", а не "по серверу/хосту", но это добавляет риск. Например, что если все 3 копии блока данных окажутся на одном сервере (на 3 дисках), а сервер выйдет из строя? С точки зрения ВМ данные будут считаться пропавшими. Отдельно, кластер Proxmox требует, чтобы более 50% узлов были доступны для работы кластера, поэтому с 1/3 узлов оставшийся узел будет перезагружаться, чтобы попытаться вернуться в кластер.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры