http://proxmox.su Новое в теме Многорегиональный Ceph + разнородное хост-железо? форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 11 Jul 2026 08:21:02 +0300 Многорегиональный Ceph + разнородное хост-железо? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Стоимость трафика репликации убьёт тебя. 24x16 ТБ. Это значит, у тебя будет много ВМ на серверах. Не забывай – с Ceph всё записывается несколько раз (в реальном времени) на каждого участника Ceph OSD. Согласен с предыдущим ответом: лучше иметь много небольших серверов, чем один большой. Судя по твоему описанию местоположения, как Azure, ты предлагаешь услуги, основанные на местоположении (восток, запад). Зачем тебе реплицировать трафик во все локации? Я бы, и не тратил много времени на проектирование архитектуры, поставил кластер в каждой локации, который подстрахован планом резервного копирования ЦОД. Обычно ЦОД имеет резервный сайт, реплицируй туда. Стоимость трафика тебя не убьёт, а резервный сайт подключен к основному сайту с широкой полосой пропускания. Это только первое соображение и не идеальный план, но именно так я бы работал.
08.03.2024 23:57:00, pille99.]]> http://proxmox.su/forum/messages/forum63/message341527/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo http://proxmox.su/forum/messages/forum63/message341527/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo Fri, 08 Mar 2024 23:57:00 +0300 Proxmox Виртуальная Среда Многорегиональный Ceph + разнородное хост-железо? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@pvps а ты такое делал? Ну, типа Ceph Multi Location? https://docs.ceph.com/en/quincy/radosgw/multisite/
08.03.2024 23:05:00, navigator.]]> http://proxmox.su/forum/messages/forum63/message341526/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo http://proxmox.su/forum/messages/forum63/message341526/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo Fri, 08 Mar 2024 23:05:00 +0300 Proxmox Виртуальная Среда Многорегиональный Ceph + разнородное хост-железо? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если у вас 3 DataCenter, то это не должно быть проблемой. Один DataCenter может полностью выйти из строя или потерять часть своих ресурсов, и это всё равно будет High Availability (HA).
08.03.2024 18:09:00, navigator.]]> http://proxmox.su/forum/messages/forum63/message341525/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo http://proxmox.su/forum/messages/forum63/message341525/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo Fri, 08 Mar 2024 18:09:00 +0300 Proxmox Виртуальная Среда Многорегиональный Ceph + разнородное хост-железо? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не эксперт, но вот мои мысли: 5 из 6 серверов упасть — это невозможно. Нужен валидный кворум, то есть 50%+1. Если тебе критически важна высокая доступность хранилища в 3 DC-зонах, лучше немного больше вложить (тогда ты редко получишь ситуацию 5/6). Если я смотрю на стоимость пропускной способности между востоком и западом (действительно ли это так дешево в США?), мне сложно представить, что добавление нескольких серверов станет проблемой бюджета. Если я вижу большие серверы хранения в Ceph (36 вращающихся дисков), я думаю о том, что произойдет, если такая большая машина выйдет из строя, перезагрузится и т.д. На мой взгляд, лучше иметь много небольших машин. Больше избыточности, больше балансировки нагрузки, меньше проблем при сбоях. Конечно, это может быть дороже (стойки, коммутаторы, оборудование, энергия), но опять же, если я смотрю на стоимость темного волокна или 100-гигабитного волокна по всей стране (с резервированием?), я не вижу проблем с финансированием нормального оборудования во всех локациях.
08.03.2024 09:05:00, pvps1.]]> http://proxmox.su/forum/messages/forum63/message341524/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo http://proxmox.su/forum/messages/forum63/message341524/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo Fri, 08 Mar 2024 09:05:00 +0300 Proxmox Виртуальная Среда Многорегиональный Ceph + разнородное хост-железо? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вверх, пожалуйста.
08.03.2024 03:51:00, navigator.]]> http://proxmox.su/forum/messages/forum63/message341523/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo http://proxmox.su/forum/messages/forum63/message341523/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo Fri, 08 Mar 2024 03:51:00 +0300 Proxmox Виртуальная Среда Многорегиональный Ceph + разнородное хост-железо? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня небольшая проблема с текущим проектом, и я надеюсь, что кто-нибудь здесь поделится опытом. Для контекста, моя конечная цель — развернуть самохостимую службу S3 с репликацией в 3 дата-центрах (1 на западном побережье, 2 на восточном). У меня есть 6 серверов хранения (по 2 на каждый ЦОД), которые должны зеркалировать друг друга для максимальной избыточности (например, мы должны быть способны отключить сразу 5 из 6 серверов хранения и при этом оставаться работоспособными). Изначально я планировал использовать TrueNAS w/ Minio, но это стало невозможным по нескольким причинам. Сейчас я изучаю Ceph и SeaweedFS как возможные решения. Если я выберу Ceph на PVE, моя основная проблема в том, что у меня всего по x2 сервера хранения на каждый дата-центр, что, насколько я понимаю, не соответствует минимальным требованиям. Однако, у меня есть по x3 утилитарных сервера в каждом ЦОД, которые я и так планировал использовать для кластера HA PVE. Серверы хранения — Supermicro SC847 (36-Bay), загруженные по x24 16TB Exos SAS HDD/шт. Утилитарные серверы — Dell R430 SFF. Я знаю, что можно создавать кластеры PVE с различным оборудованием (хотя это и потенциально нежелательно для HA), но у меня нет опыта работы с Ceph-кластерами… отсюда и моя просьба о совете. Если я создам кластер в каждом дата-центре, содержащий по x2 Supermicro и x3 R430, может ли это быть жизнеспособным решением? Или я просто создам себе проблемы в будущем?
12.12.2022 18:38:00, raynearch.]]> http://proxmox.su/forum/messages/forum63/message341522/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo http://proxmox.su/forum/messages/forum63/message341522/79786-mnogoregionalnyy-ceph-_-raznorodnoe-khost_zhelezo Mon, 12 Dec 2022 18:38:00 +0300 Proxmox Виртуальная Среда