http://proxmox.su Новое в теме Размышления о кластере с точки зрения развития: Ceph, кластеризация, возможно, NAS-хранилище для ВМ. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Mon, 25 May 2026 20:25:57 +0300 Размышления о кластере с точки зрения развития: Ceph, кластеризация, возможно, NAS-хранилище для ВМ. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо! К счастью, процессоры во всех узлах одинаковые – семейство Xeon Skylake Scalable, так что настройки vCPU подойдут. Только один узел имеет GPU, поддерживающие vGPU напрямую, без всяких обходных путей, так что миграция будет просто стандартная VM/CT. А насчёт хранилища с Ceph: два тесно связанных друг с другом узла имеют 16ТБ корпоративных SSD, а вот третий, совсем другой, имеет 48ТБ корпоративных SSD. Возможно ли создать кластер Ceph, используя только 16ТБ из этих 48ТБ, чтобы он соответствовал 16ТБ в других узлах? Тогда я смогу создать ZFS-шару с оставшимися 32ТБ? Или установка Ceph просто говорит "моё" и берёт всё? Хотелось бы иметь возможность сделать PoC с NAS! Всё, что тронет эту систему, будет с ней связано. Если только поставщик не сможет предоставить гарантию стабильности, которую примет отдел кибербезопасности, или если поставщик готов покрыть стоимость тестовой единицы; нам просто нужно купить и попробовать. Поэтому я и предлагаю, в принципе, лучшее доступное.
17.06.2025 16:07:00, ns33.]]> http://proxmox.su/forum/messages/forum63/message322258/77411-razmyshleniya-o-klastere-s-tochki-zreniya-razvitiya_-ceph_-klasterizatsiya_-vozmozhno_-nas_khranilishche-dlya-vm. http://proxmox.su/forum/messages/forum63/message322258/77411-razmyshleniya-o-klastere-s-tochki-zreniya-razvitiya_-ceph_-klasterizatsiya_-vozmozhno_-nas_khranilishche-dlya-vm. Tue, 17 Jun 2025 16:07:00 +0300 Proxmox Виртуальная Среда Размышления о кластере с точки зрения развития: Ceph, кластеризация, возможно, NAS-хранилище для ВМ. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Узлы Ceph могут быть разными, но у тебя должно быть почти одинаковое количество дискового пространства (как количество OSD, умноженное на размер) доступным, чтобы данные могли восстановиться на оставшихся узлах в случае отказа одного узла! Узлы PVE (если они даже не совпадают с узлами Ceph) могут иметь разные процессоры, но ты можешь столкнуться с ошибками миграции ВМ, если используешь тип vCPU host, который иногда нужен, но чаще всего лучше использовать тип PVE по умолчанию, который является мигрируемым. RAM в основном полезнее, чем CPU, хотя и меньше, но более мощные ядра полезнее, чем CPU с большим количеством ядер и низкой частотой. Избыточное NAS все еще работает, но ты можешь иметь ограниченные функции PVE, доступные в GUI, чего нет в Ceph, но если у тебя уже есть какое-то старое NAS, не списывай его, используй оба. Если ты планируешь ввести в эксплуатацию новое флэш-NAS, тебе следует сделать POC с вендором, и если ты не удовлетворишься доступными функциями, ты сможешь вернуть его. В противном случае с Ceph тебе тоже может быть сложно добиться приемлемой производительности, так что POC здесь тоже полезен. Зеркальные загрузочные диски всегда должны быть, если это система для продакшена. Ты можешь столкнуться с проблемами настройки Corosync без коммутатора, и будет проще использовать даже 1Gb коммутатор только для этой функции. В любом случае, удачи и получай удовольствие с PVE. PS: Не забудь свою концепцию резервного копирования...
13.06.2025 21:30:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message322257/77411-razmyshleniya-o-klastere-s-tochki-zreniya-razvitiya_-ceph_-klasterizatsiya_-vozmozhno_-nas_khranilishche-dlya-vm. http://proxmox.su/forum/messages/forum63/message322257/77411-razmyshleniya-o-klastere-s-tochki-zreniya-razvitiya_-ceph_-klasterizatsiya_-vozmozhno_-nas_khranilishche-dlya-vm. Fri, 13 Jun 2025 21:30:00 +0300 Proxmox Виртуальная Среда Размышления о кластере с точки зрения развития: Ceph, кластеризация, возможно, NAS-хранилище для ВМ. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я в процессе развёртывания кластера, чтобы доказать программе офиса, что переход с почти голого железа к почти виртуальной среде – это верный путь. Внутри компании наш руководитель проекта согласен, но мне нужно это доказать, чтобы получить полное финансирование. Сейчас у меня 3 узла, собранные практически из мусорки: два имеют одинаковую конфигурацию процессора/памяти/SSD/GPU, а третий – очень отличается, но более мощный. Я буду использовать nvidia vgpu, так как многие физические системы требуют CUDA. Каждый узел имеет 6x 10gb nics, но работает на скорости 1gb по отдельности, некоторые находятся в конфигурации lacp для подключения к коммутатору. Мое понимание такова: если я хочу использовать ceph, чтобы доказать возможность переключения при отказе, узлы должны быть, по сути, одинаковыми – одинаковые процессоры, раскладка памяти, GPU, хранилище, верно? Есть ли способ обойтись без идентичных систем с ceph, установленным, просто чтобы продемонстрировать возможность переключения при отказе? Действительно ли ceph необходим, если есть интерес к использованию избыточных NAS для хранения VM? Мы переходим на оптоволокно, и руководитель проекта согласен с рекомендацией использовать двухпортовые оптоволоконные карты 100g для каждой системы, и я рекомендую, чтобы каждый NAS был основан на флэш-памяти. Не является ли ceph бесполезным при использовании конфигурации оптоволокно/флэш-NAS; будет ли переключение VM при отказе по-прежнему возможно? Или метод NAS — плохая идея? Если метод NAS приемлем, я предполагаю, что мне понадобятся только зеркалируемые загрузочные диски на каждом узле? Что касается кластеризации, есть ли какие-то подводные камни при использовании узлов с разным оборудованием? И для сетевого взаимодействия кластера; в данный момент, поскольку магистральная сеть в моей лаборатории всего 1gbe, на каждом узле я использую два из 10gb nics, напрямую соединяя узлы друг с другом: n1eth0 -> n2eth1, n2eth0 -> n3eth1, n3eth0 -> n1eth1. Ничего еще не настроено, просто PVE установлен на каждом узле. Это нормально? В идеале, у меня был бы коммутатор между ними, но поскольку мы переходим на оптоволокно, покупка кучи 10gb медных sfp-коннекторов — это пустая трата денег, поэтому прямое соединение — это единственный вариант на данный момент. Извините, если это всё хаотично; я вывалил это в том порядке, в каком мой мозг меня отпустил.
13.06.2025 15:42:00, ns33.]]> http://proxmox.su/forum/messages/forum63/message322256/77411-razmyshleniya-o-klastere-s-tochki-zreniya-razvitiya_-ceph_-klasterizatsiya_-vozmozhno_-nas_khranilishche-dlya-vm. http://proxmox.su/forum/messages/forum63/message322256/77411-razmyshleniya-o-klastere-s-tochki-zreniya-razvitiya_-ceph_-klasterizatsiya_-vozmozhno_-nas_khranilishche-dlya-vm. Fri, 13 Jun 2025 15:42:00 +0300 Proxmox Виртуальная Среда