Аспро: ЛайтШоп [тема: Ceph и сбой в дата-центре]

Ceph и сбой в дата-центре

Thu, 05 Dec 2019 16:30:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@adamb Рад слышать это! Только один вопрос: ты используешь HA? Мы активировали HA и столкнулись с проблемами после того, как потерянный узел снова вошел в кластер.
05.12.2019 16:30:00, Baader-IT.

Ceph и сбой в дата-центре

Thu, 05 Dec 2019 16:18:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хорошо видеть, что и другие делают что-то подобное. У нас также почти идентичная настройка. Мы в эксплуатации уже почти 6 месяцев. Мы проводим много тестов на отказоустойчивость, и всё работает отлично. У нас 40 Гбит/с между двумя площадками с задержкой 1 мс.
05.12.2019 16:18:00, adamb.

Ceph и сбой в дата-центре

Thu, 05 Dec 2019 09:41:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@RobFantini 1: вот набор правил из интерфейса Proxmox 2: Код: { "rule_id": 0, "rule_name": "replicated_rule", "ruleset": 0, "type": 1, "min_size": 2, "max_size": 4, "steps": [ { "op": "take", "item": -1, "item_name": "default" }, { "op": "choose_firstn", "num": 0, "type": "datacenter" }, { "op": "chooseleaf_firstn", "num": 2, "type": "host" }, { "op": "emit" } ] }
05.12.2019 09:41:00, Baader-IT.

Ceph и сбой в дата-центре

Wed, 04 Dec 2019 17:57:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
это интересная тема... У меня есть пара вопросов 1- эти правила где хранятся, в .conf файле или где-то еще? Формат не похож на тот, что в моем следующем вопросе 2- не мог бы ты выложить вывод команды: ceph osd crush rule dump
04.12.2019 17:57:00, RobFantini.

Ceph и сбой в дата-центре

Wed, 04 Dec 2019 16:17:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Наше решение: Код: # правила

правило replicated_rule {
идентификатор 0
тип реплицированный
минимальный размер 2
максимальный размер 4
шаг взять по умолчанию
шаг выберите первых 0 типа дата-центр
шаг выберите листья первых 2 типа хост
шаг сгенерировать
}
04.12.2019 16:17:00, Baader-IT.

Ceph и сбой в дата-центре

Wed, 04 Dec 2019 16:13:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо. Ты решил свою проблему? Она была связана с минимальным числом реплик в Ceph?
04.12.2019 16:13:00, TwiX.

Ceph и сбой в дата-центре

Wed, 04 Dec 2019 15:43:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@TwiX Я могу сказать только, что для соединения между дата-центрами мы используем полосу пропускания 25G. Не думаю, что есть требования по полосе пропускания — это зависит только от задержки, которая должна быть < 2ms.
04.12.2019 15:43:00, Baader-IT.

Ceph и сбой в дата-центре

Wed, 04 Dec 2019 15:36:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, какая необходимая скорость соединения между этими двумя дата-центрами?
04.12.2019 15:36:00, TwiX.

Ceph и сбой в дата-центре

Tue, 19 Nov 2019 14:44:00 +0300

Ceph и сбой в дата-центре Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, в данный момент мы оцениваем новый кластер Proxmox с Ceph. Факты: 10 серверов в кластере, 2 дата-центра, по 5 серверов в каждом дата-центре, 12 жестких дисков на сервер. Установка и конфигурация уже завершены, сейчас работают только тестовые ВМ. Я заметил во время тестирования на отказ, что ни Ceph, ни Proxmox не функционируют должным образом в случае сбоя дата-центра. Поэтому я создал еще один (виртуальный) узел Proxmox в другом дата-центре, который будет служить кворумом для Proxmox и Ceph. С этим кворумом кластер теперь работает в случае сбоя дата-центра. У меня вопрос: если один дата-центр не работает, кластер функционирует нормально, но ВМ недоступны, потому что Ceph переводит диск в режим только для чтения. У нас сейчас есть пул Ceph с конфигурацией 3/2 и правильной картой OSD Crush (корректное распределение по дата-центру, стойке, хосту, OSD). Может ли размер пула 3/1 решить эту проблему? Есть другие идеи? Приветствую!
19.11.2019 14:44:00, Baader-IT.