Моя рекомендация: сначала возникни проблему. Потом ищи решения. Потом выбери одно решение. Потом покупай железо. Ну, можно и с конца начать тоже ZFS! [ТУТОРИАЛ] Тред 'FabU: это небольшая настройка с ограниченными ресурсами и всего несколько дисков, стоит ли мне вообще использовать ZFS?' 3 января 2025 года Стоит ли мне вообще использовать ZFS? Для начала требуется дисклеймер: я использую ZFS почти везде, где это возможно, хотя исключения и бывают. В любом случае я, безусловно, предвспрятствован в пользу ZFS. Что ж..., очевидный ответ — "Да, конечно" Целостность ZFS гарантирует целостность. Он доставит вам абсолютно те же данные, когда вы их прочитаете, что и когда они были записаны в прошлом. "Но все файловые системы это делают, верно?" Ну, тут есть нюансы. ZFS активно работает над тем, чтобы убедиться в правильности. An... UdoB потребительский класс корпоративный класс целостности зеркало raidz хранилище zfs Ответы: 1 Форум: Proxmox VE: Установка и настройка Чтобы Ceph был полезен и стабилен, вам нужно больше трех нод: [ТУТОРИАЛ] Тред 'FabU: могу ли я использовать Ceph в _очень_ маленьком кластере?' 26 декабря 2024 года Ceph великолепен, но для надежной работы ему нужны ресурсы выше теоретического минимума. Мои предположения для следующего текста: вы хотите использовать Ceph, потому что... почему бы и нет? вы хотите использовать Высокую Доступность – что требует Общего Хранилища (отмечу, что для полного решения нужно больше вещей, таких как избыточная сетевая инфраструктура и блоки питания); вы планируете начать с самого малого (и самого дешевого), потому что это... "всего лишь" Homelab. Вы планируете три ноды. Каждая нода имеет один выделенный диск для использования в качестве "OSD". Это задокументировано... UdoB ceph кластер мини-пк минимизировать общее файловое хранилище Ответы: 30 Форум: Proxmox VE: Установка и настройка

Что заставило тебя прийти к выводу, что я не следовал этой последовательности? – Проблема: получить быструю и надежную систему виртуализации – Решение: современное оборудование с proxmox и как минимум три узла для высокой доступности (HA). – Купить оборудование – Установить Proxmox – Настроить его наилучшим образом, чтобы соответствовать предполагаемому решению.

Именно на последнем пункте я сейчас и завис. Раньше у меня было несколько стареньких (7-го поколения) NUC с VMware Workstation. Поскольку это (полу-)коммерческое окружение, а не просто домашняя лаборатория, мне нужна была большая скорость, а после нескольких сбоев оборудования я хотел меньше простоев в случае проблем. Решение на базе VMware оказалось либо недостаточно хорошим, либо слишком дорогим. Поэтому вышеописанное решение показалось мне естественным. Но даже с общим решением урегулированным, есть куча проблем, касающихся деталей. Вот почему я надеюсь получить здесь помощь. Спасибо за совет по файловой системе. Какие еще идеи по поводу моих других вопросов?

Нельзя было сказать лучше! И восстановление нужно периодически проверять и перепроверять на работоспособность.

Все узлы должны иметь одинаковую конфигурацию хранилища. После нормальной установки каждый из них имеет "rpool" = три экземпляра, по одному на каждом узле. Существует только одно определение хранилища для этого "rpool", названное "local-zfs". Это хранилище объявлено как доступное на всех узлах, оно "shared". Имена должны быть согласованными на всех участниках узла. При этом условии можно реплицировать ВМ с одного узла на другой. И можно перемещать ВМ с одного узла на другой, как в автономном режиме (с остановленной ВМ), так и в онлайн-режиме = пока ВМ работает непрерывно. Всё вышеперечисленное "работает как ожидалось". Затем есть вероятность аппаратного сбоя – и вот тут "High Availability", "HA" вступает в игру. Ему требуется "Shared Storage". ZFS-репликация принимается как есть – хотя это и не совсем "shared". В случае катастрофы, когда узел падает "в нокаут", настроенная ВМ перезапускается на другом узле. Это, по сути, всё, что он делает. Данные на "мертвом" узле были реплицированы некоторое время назад (дни, часы, минуты – на ваш выбор). Данные, изменившиеся после этой последней репликации, теряются. Для некоторых сценариев использования это критично. Для моих ВМ это приемлемо, как на работе, так и в Homelab. Хороший вопрос, на который у меня нет хорошего ответа. В моем Homelab у меня есть несколько мини-ПК с одинаковыми опциями: два *SATA + один одиночный NVMe. Я действительно хочу иметь избыточность, и поэтому выбрал 2*SATA для основной ОС и упомянутый "rpool" с одним зеркальным vdev. В этой конфигурации всё хранится в этом единственном ZFS-пуле. У меня нет хороших рекомендаций, что делать с единственным NVMe. Я не могу использовать его как "Special Device" без избыточности. А дешевый NVMe в качестве кэша (или SLOG) не имеет смысла для Enterprise SSD. (( Анекдот, а не рекомендация: тогда у меня были эти неиспользуемые, но одиночные на узел NVMe. Это было два года назад, и это было начало моего пути с Ceph. Я хотел использовать эти три одиночных NVMe и пошел по пути, описанному в моем связанном "FabU" ... "потому что... почему бы и нет?". В итоге получилось шесть узлов с 12 OSD (плюс три узла без OSD). Мой медленный Homelab (2.5 GBit/s действительно слишком медленно!) и высокие затраты энергии заставили меня отказаться от этого подхода некоторое время назад. Сейчас я снова уменьшаю количество узлов и возвращаюсь только к ZFS, выкидывая Ceph из своей лодки. ))