Ceph как минимум требует 5 нод, чтобы показать хоть какую-то производительность и использовать быстрые внутренние накопители. На двух нодах это просто не заработает.

Я хотел поэкспериментировать с Ceph перед тем, как переходить на кучу нового оборудования позже, и чтобы спланировать, что мне нужно/чего не хватает для нового железа. Я настроил 2 отдельных кластера с помощью Proxmox и Ceph, и хотя это далеко не идеально и даже не близко к тому, что ты бы сделал в "реальной рабочей среде", всё работает, и Ceph отлично справляется со своими задачами, и пока (стучу по дереву) сохраняет мои данные в безопасности.

Первый кластер состоит из 7 узлов, где, к сожалению, из-за ограничений оборудования (невозможно перевести RAID-карту в режим IT/HBA) мне пришлось использовать внешние диски для моих Ceph OSD. Каждый из 7 узлов имеет 2 SSD-диска, подключенных через USB-SATA адаптер, и каждый узел имеет два 1 GB NIC для использования Ceph и Proxmox (хотя я создал несколько VLAN, чтобы разделить всё по разным сетям). На этом кластере я получаю скорость, примерно равную скорости одного HDD при записи в кластер, хотя я не заметил никакой разницы между этим и когда я использовал NAS с NFS для хранения дисков VM.

Второй кластер предназначен для моих Docker-томов и состоит из кластера из 3 узлов, каждый с 4 HDD внутри. В этот раз мне удалось подключить большинство дисков OSD в систему, и я использую 2 USB-SATA адаптера для установки ОС. Они также имеют два 1 GB NIC на каждом узле. Этот кластер немного более капризный, чем другой, у 2 OSD на 2 узлах находятся на USB-адаптерах, поскольку системы не загружались с SSD-дисков, подключенных через USB-адаптер, но загружались с USB-флешки.

В целом, я доволен своим переходом на данный момент и надеюсь перейти на лучшую аппаратную конфигурацию в будущем и избавиться от некоторых "косяков" этой настройки. Скорее всего, я заменю узлы в моем основном кластере на собственные 4U системы или, возможно, на Dell R730, прежде чем переходить к другому, меньшему кластеру. Моя конечная цель — перейти к 5-узловому основному кластеру для запуска VM, который я называю своим вычислительным кластером. Затем перейти к 7-узловому хранилищу кластеру и удалить 3-узловый Ceph кластер, а также мои другие 3 NAS-боксы, работающие как отдельные места хранения.