Привет, как ты пытался установить Ceph? Ты настроил правильные репозитории apt? Пробовал использовать наши инструменты, например, через веб-интерфейс в разделе Datacenter -> <node> -> Ceph или через CLI pveceph?

Так вот, я сейчас сижу за своим компьютером и могу создать менеджера. Но когда пытаюсь его запустить, выбивает сообщение об ошибке: "task failed command /bin/systemctl start ceph-mgr@proxmox failed exit code 1".

Привет еще раз. Если я использую этот репозиторий, скачиваю все и настрою файлы sources.list и ceph.list соответственно, должно сработать и я пройду мимо проблем с Python и кучей зависимостей? У нас есть хранилище на базе LUN, довольно много больших, типа по 16 ТБ, около 15 штук. Пытаюсь что-то развернуть на кластере Proxmox, чтобы он это понимал. Похоже, Ceph — правильный выбор, но сложновато. Я пытался с ZFS, сделал все с multipath, и мои узлы видят LUN отлично. Но, похоже, мне приходится реплицировать ВМ на каждый LUN, чтобы его мигрировать. Я надеялся, что ВМ будет существовать и видна всем узлам из одного и того же LUN. Даже пробовал LVM-thin, но и это, похоже, надо реплицировать. Просто пытаюсь правильно спроектировать это, это последнее, что не могу запустить. Спасибо.

Привет еще раз, я обошел проблему с оффлайн зеркалом, чтобы установить Ceph Reef. Теперь, когда это установлено, я могу предоставить что-то вроде LUN на 10 ТБ всем моим нодам Proxmox, и они будут использовать один и тот же LUN. Перемещение ВМ с ноды на ноду теперь должно быть простым. Просто хотел убедиться, что это не как если у меня 5 нод, и мне нужно предоставить 5x10 ТБ как один LUN каждой ноде, и это будет реплицироваться. Насколько я понимаю, это, фактически, общая память? Спасибо.

Так, допустим, у меня есть один 10-терабайтный LUN. Я могу представить его всем узлам Proxmox? С OCFS2? Тогда будет мигрировать только состояние памяти? У меня может быть, например, 50 ВМ на узле Proxmox 1, и я могу мигрировать все 50 ВМ на узел Proxmox 2, и будет мигрировать только состояние памяти? Без репликации в фоне для дисков. Согласно этой статье https://pve.proxmox.com/wiki/Storage, только Ceph отвечает "да/да/да" по всем параметрам. Прежде чем двигаться дальше, просто хочу убедиться, что OCFS2 — лучший выбор. Это бесплатно? Хочу как можно ближе перейти с VMware из-за проблемы с Broadcomm. Или что-то, что я могу сделать "лучше", как я слышал про самовосстановление ZFS и хорошо справляется с ремонтом. Если я могу сделать лучше, то это то, что мне нужно. Однако мне придется использовать ZFS с разными LUN для каждого узла Proxmox, и если я буду реплицировать виртуальные машины, не повлияет ли это на производительность? Нам определенно нужна опция снимков перед применением патчей или вмешательством в серверы. Я еще раз все проанализирую, чтобы решить, какое очевидное решение подойдет:
1. Я использую LACP во всех сетях и могу сегментировать трафик/VLAN.
2. Я использую FC с хранилищем через HBA. Да, на самом деле это RAID в конфигурации на заднем плане, и я могу представить его каждому узлу Proxmox. Однако, когда я представил это узлам Proxmox и выполнил миграцию, он мигрировал весь диск в тот же LUN, как если бы это был совершенно другой LUN. Было странно.
3. Файловая система в Proxmox, однако, когда я представляю LUN, я могу делать снимки и мигрировать на другой узел без репликации дисков, просто перенося состояние памяти.
4. Есть ли предложения по файловой системе, которая включала бы тонкое выделение с возможностью создания снимков?
4. Буду очень признателен за любые предложения. Спасибо еще раз.

Ну, почитав ещё, кажется, всё равно потеряю место на диске, потому что всё реплицируется со всеми остальными OSD/пулами. Какой здесь самый лучший способ при большом количестве ВМ, чтобы не терять столько места с репликацией? (Это значит, например, если у меня 5 нод, у меня будет 5 ВМ каждой виртуальной машины, представленной на все ноды Proxmox). Вариант dedup/thin provisioning, чтобы компенсировать то, как это спроектировано, чтобы ВМ была на каждом LUN, представленном на все ноды. Спасибо.

Так не работает Ceph. Каждый диск – это отдельный бакет. Сервер имеет кучу бакетов. Если Ceph настроен на 3 копии, то по умолчанию он будет хранить одну копию каждого блока данных минимум на 3 разных серверах, в любом бакете, который ему заблагорассудится. Так что файл жесткого диска VM может (скорее всего) быть разбросан по всем дискам. Сколько у вас серверов – не особо важно, кроме как то, что нужно хотя бы 3, лучше больше. Как только всё настроено, все серверы увидят "диск VM" и не будут беспокоиться о том, "где" он находится.

Для 4. нужна OCFS2. Её можно использовать в Proxmox как сетевой каталог хранения, как NFS. С qcow2 для образов ВМ получаешь тонкий прови́зионинг и снапшоты. Но эта конфигурация официально не поддерживается компанией, которая делает Proxmox. OCFS2 нужно настраивать самостоятельно.