+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ceph и сбой в дата-центре, Proxmox Виртуальная Среда

Baader-IT

Guest

19.11.2019 14:44:00

Привет, в данный момент мы оцениваем новый кластер Proxmox с Ceph. Факты: 10 серверов в кластере, 2 дата-центра, по 5 серверов в каждом дата-центре, 12 жестких дисков на сервер. Установка и конфигурация уже завершены, сейчас работают только тестовые ВМ. Я заметил во время тестирования на отказ, что ни Ceph, ни Proxmox не функционируют должным образом в случае сбоя дата-центра. Поэтому я создал еще один (виртуальный) узел Proxmox в другом дата-центре, который будет служить кворумом для Proxmox и Ceph. С этим кворумом кластер теперь работает в случае сбоя дата-центра. У меня вопрос: если один дата-центр не работает, кластер функционирует нормально, но ВМ недоступны, потому что Ceph переводит диск в режим только для чтения. У нас сейчас есть пул Ceph с конфигурацией 3/2 и правильной картой OSD Crush (корректное распределение по дата-центру, стойке, хосту, OSD). Может ли размер пула 3/1 решить эту проблему? Есть другие идеи? Приветствую!

TwiX Guest	#2 0 04.12.2019 15:36:00 Привет, какая необходимая скорость соединения между этими двумя дата-центрами?

Baader-IT

Guest

04.12.2019 15:43:00

@TwiX Я могу сказать только, что для соединения между дата-центрами мы используем полосу пропускания 25G. Не думаю, что есть требования по полосе пропускания — это зависит только от задержки, которая должна быть < 2ms.

TwiX Guest	#4 0 04.12.2019 16:13:00 Спасибо. Ты решил свою проблему? Она была связана с минимальным числом реплик в Ceph?

Baader-IT

Guest

04.12.2019 16:17:00

Наше решение: Код: # правила

правило replicated_rule {
идентификатор 0
тип реплицированный
минимальный размер 2
максимальный размер 4
шаг взять по умолчанию
шаг выберите первых 0 типа дата-центр
шаг выберите листья первых 2 типа хост
шаг сгенерировать
}

RobFantini Guest	#6 0 04.12.2019 17:57:00 это интересная тема... У меня есть пара вопросов 1- эти правила где хранятся, в .conf файле или где-то еще? Формат не похож на тот, что в моем следующем вопросе 2- не мог бы ты выложить вывод команды: ceph osd crush rule dump

Baader-IT

Guest

05.12.2019 09:41:00

@RobFantini 1: вот набор правил из интерфейса Proxmox 2: Код: { "rule_id": 0, "rule_name": "replicated_rule", "ruleset": 0, "type": 1, "min_size": 2, "max_size": 4, "steps": [ { "op": "take", "item": -1, "item_name": "default" }, { "op": "choose_firstn", "num": 0, "type": "datacenter" }, { "op": "chooseleaf_firstn", "num": 2, "type": "host" }, { "op": "emit" } ] }

adamb

Guest

05.12.2019 16:18:00

Хорошо видеть, что и другие делают что-то подобное. У нас также почти идентичная настройка. Мы в эксплуатации уже почти 6 месяцев. Мы проводим много тестов на отказоустойчивость, и всё работает отлично. У нас 40 Гбит/с между двумя площадками с задержкой 1 мс.

Baader-IT Guest	#9 0 05.12.2019 16:30:00 @adamb Рад слышать это! Только один вопрос: ты используешь HA? Мы активировали HA и столкнулись с проблемами после того, как потерянный узел снова вошел в кластер.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры