Привет всем, Мы сейчас сталкиваемся с вопросом, каким могло бы быть новое концептуальное решение для хранения данных. К сожалению, мы можем только "опираться" на то, что нашли в интернете о Howtos и информации про CEPH. Что мы хотим достичь: - Я хотел бы создать растущий кластер как для виртуальных машин, так и для хранения данных - Мне нужен разумный уровень пропускной способности, как при чтении, так и при записи в МБ/с, а также, конечно, IOPS, особенно при записи. Кроме того, я хочу использовать CEPHFS для создания избыточной файловой системы, что мне нравится делать. Это позволит использовать ее как бэкэнд в различных ВМ параллельно. С чего мы хотим начать: Для эксперимента (что еще это в начале) я хотел бы начать с следующего: - 3 сервера, каждый с 2x2640v4 Xeon, 256GB RAM, 6x10 + 2x40Gb, и каждый с 2 x 6.4TB Samsung 1725b, загружаемые с 2 x SS300 Enterprise SSD - все 3 сервера изначально будут выполнять роли CEPH OSD, CEPH Manager и CEPH Monitor - но только на начальном этапе, кроме того, я хотел бы оставить несколько ВМ, иначе будет слишком перегруженно - Таким образом, у нас будет 6 x OSD в 3 x узлах, больше 2 x NVMe через PCI Express я хотел бы или не могу "препятствовать", потому что иначе будет слишком жарко/плотно в корпусе Supermicro - Я хочу создать избыточную сеть через LCAP и 2 x Juniper QFX5100 свитча, то есть по 2 x 40 GBit на каждом сервере для кластера CEPH OSD, 2 x 10 GBit для Heartbeat и Corosync, 2 x 10 GBit для внутренней сети связи. Мои вопросы: - Репликация из 2 узлов должна позволить мне, чтобы в случае полной потери узла кластер оставался доступным, а также безопасным и записываемым, так что у меня будет 2 x 6.4 TB на узел, тогда на 3 узлах и 2 реплики будет около 12.8 TB пространства, но я должен заполнить только около 80% максимум - правильно? - 2 x NVMe на узел? Думаю, 4 это определенно лучше для распределения I/O, но я боюсь, что в корпусе будет слишком тесно и тепло будет значительным. Позже я хотел бы выделить 3 мониторинговых/менеджерских узла на 3 маленьких серверах и подключить их только через 2x10 GBit к внутренней сети, так как для сетевого слоя OSD следует использовать только 40 GBit+. На мой взгляд, это не должно быть проблемой? Разделено, потому что мониторинговые узлы представляются мне очень важными . Спасибо за ваш опыт. Привет, Ронни