Производительность точно не была проблемой. Я просто не дошёл до этапа серьёзного тестирования быстродействия. Вероятно, главной причиной была путаница с проблемой Gluster на 2 узлах, но сейчас я рад, что так получилось. Если я всё правильно понимаю, то CEPH гораздо гибче в кластерной среде.

#1 — могу в любой момент запустить мониторинг состояния и проверить, как работает весь кластер хранения.  
#2 — мне не нужно переживать из-за потери нескольких HDD или даже целого узла и того, что из-за этого упадёт весь кластер.  
#3 — нравится, как CEPH использует все HDD, максимально задействуя доступное пространство.  
#4 — легко масштабируется на несколько узлов.  

Возможно, у Gluster есть что-то похожее, но я не в курсе. Пытаюсь протестировать Gluster, но сталкиваюсь с трудностями в совместной работе с Proxmox. Определённо проблема с моей стороны.  

Отправлено с моего ASUS Transformer Pad TF700T через Tapatalk

Привет, меня тоже интересует либо zfsonlinux + gluster, либо zfsonlinux + ceph. Видел скринкаст про оба, в котором говорилось, что gluster более продвинут в оптимизациях по сравнению с ceph. С уважением, Dirk Adamsky

Добро пожаловать на борт. С Ceph ситуация такая: его часто называют «землей обетованной будущего». Но все тесты производительности, которые я видел, не учитывают настоящий кластер с несколькими подключенными узлами, на которых идёт реальная нагрузка. Там всегда только один OSD работает с одним клиентом и некоторой параллельностью. Честно говоря, я понятия не имею, как оно себя поведёт в реальных условиях (и, думаю, именно поэтому Symcomm проводит внутреннее бетатестирование и замеры с реальными пользователями). Ещё ZFSonLinux может быть не идеальным вариантом для Ceph. Все тесты сейчас сосредоточены на сравнении ext4, btrfs и xfs. Что касается RBD (который, как я понимаю, Proxmox использует именно так), то общее мнение такое: либо btrfs, либо xfs подойдут, но предпочтительнее xfs.

Не могу не согласиться. ZFS на Ceph/Gluster или Ceph/Gluster на ZFS добавляют слишком много уровней, чтобы их можно было использовать в реальной среде. Это всё отдельные технологии с собственными задачами, и их лучше оставить как есть. Но смешивать Ceph, Gluster и ZFS — нет никакого смысла. Да, у CEPH не самая лучшая производительность ввода-вывода в мире, но у него есть преимущества в виде избыточности и простоты настройки и мониторинга. Я бы не называл это "землей обетованной" будущего, потому что каждая из этих технологий подходит для своих конкретных случаев. Универсального решения не существует. В реальной корпоративной среде я всегда выберу нулевой простой вместо безумной производительности I/O. Если какая-то виртуальная машина требует бешеной скорости, я всегда могу разместить её на SSD в CEPH и получить супербыстрый ввод-вывод. Так что в этом смысле CEPH даёт лучшее из обоих миров — и избыточность, и скорость в одном кластере. CEPH Pools позволяют создавать многоуровневое хранение для разных категорий клиентов. Менее чем за 6 секунд я могу увидеть производительность и состояние всего CEPH-кластера. Да, эти 6 секунд засеканы секундомером. Для администратора — это настоящее благословение земли обетованной. Отправлено с моего ASUS Transformer Pad TF700T через Tapatalk.