+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

ceph OSD добавляет огромную проблему, Proxmox Виртуальная Среда

Charalampos Toulkaridis

Guest

22.02.2017 14:47:00

Привет, у меня такая проблема при добавлении нового OSD в CEPH. После добавления новый OSD вся система становится нестабильной в плане соединения с ВМ. Многие ВМ падают с ошибкой "hung_task_timeout_secs" (см. изображение). Процесс ребалансировки занимает около 20 минут, но в это время хранилище практически недоступно для других операций. Возможно ли добавлять OSD с весом 0 и постепенно увеличивать вес, как советуется в "Argonaut (v0.48) Best Practices" по адресу: docs.ceph.com/docs/giant/rados/operations/add-or-rm-osds/? Что еще можно сделать?

Код:
root@pve01:~# ceph status
cluster bc865d82-2de0-439f-ae34-f14a565c023d
health HEALTH_WARN
55 pgs backfill
22 pgs backfilling
8 pgs peering
11 pgs stuck inactive
92 pgs stuck unclean
33 requests заблокированы > 32 сек
recovery 96309/1702601 объектов размещены неправильно (5.657%)
monmap e3: 3 mons на {0=172.16.0.1:6789/0,1=172.16.0.2:6789/0,2=172.16.0.3:6789/0}
election epoch 152, quorum 0,1,2 0,1,2
osdmap e2573: 19 osd: 19 up, 19 in; 77 remapped pgs
pgmap v12000981: 1088 pgs, 2 пула, 2076 ГБ данных, 537 тыс объектов
6460 ГБ занято, 28362 ГБ / 34823 ГБ доступно
96309/1702601 объектов размещены неправильно (5.657%)
996 active+clean
55 active+remapped+wait_backfill
22 active+remapped+backfilling
8 peering
7 activating
recovery io 357 МБ/с, 90 объектов/с
client io 2691 кБ/с чтение, 5328 кБ/с запись, 157 оп/с

root@pve01:~#
Версия PVE Manager: pve-manager/4.4-5/c43015a5
Сеть кластера Ceph — через Infiniband. Сейчас у меня 20 OSD на 5 узлах, но с таким процессом мы хотим добавить еще 30 OSD, и это реальная проблема. Все новые OSD — SSD, а 12 старых — SATA.

chris_lee Guest	#2 0 09.04.2017 19:51:00 Могу я спросить, какое именно оборудование Infiniband вы используете и есть ли у вас резервная сеть (bonding/stacking)? Я тоже подумываю о том, чтобы использовать IB.

Charalampos Toulkaridis

Guest

10.04.2017 10:48:00

Привет, сначала подтвердите, что после изменения osd_recovery_max_active и osd_max_backfills на 1 добавление новых OSD-дисков происходит без каких-либо проблем. Каждый новый OSD (SSD 1.92TB) требует около 15 минут на ребалансировку, и за последние 3 недели я добавил примерно +20 дисков без какого-либо влияния на виртуальные машины. Chris_lee, у нас нет избыточной сети, только IB. У нас 4 управляемых коммутатора, каждый сервер оснащён двумя IB PCIe адаптерами, и они подключены к 2 разным коммутаторам.

chris_lee Guest	#4 0 10.04.2017 12:18:00 Хорошо, понял. Какой моделью IB switch ты пользуешься?

Charalampos Toulkaridis Guest	#5 0 10.04.2017 12:22:00 HP Voltaire Infiniband 4036 4xQDR 36-портовый

chris_lee Guest	#6 0 10.04.2017 12:40:00 Отлично, большое спасибо. Поддерживают ли 4036 по сути объединение двух линий для обеспечения резервирования, если у вас есть два коммутатора?

Charalampos Toulkaridis Guest	#7 0 12.04.2017 10:45:00 да, как active-backup

chris_lee

Guest

13.04.2017 06:37:00

Активное резервное копирование достаточно, если у вас 40G. Похоже, попробую IB дома на лабораторной установке. Цены на оборудование кажутся оправданными. Спасибо за информацию. А есть ли ещё прошивки или вы застряли на той, что идёт с устройствами?

Charalampos Toulkaridis Guest	#9 0 13.04.2017 16:44:00 Ну, я обновлял их с версии: 3.0.0 дата: 26 марта 2010, 13:00:02 до версии: 3.9.1 дата: 23 сентября 2012, 12:11:59, но теперь вижу, что HP удалил файлы обновлений с FTP-сервера ftp://ftp.hp.com/pub/softlib2/software1/pubsw-linux/p1353577982/

chris_lee Guest	#10 0 15.04.2017 03:26:00 Хорошо, понятно. Спасибо за информацию. Приятно знать, что последняя прошивка больше недоступна.

alexskysilk

Guest

#11

09.04.2018 19:01:00

У меня были похожие результаты при добавлении узла в кластер proxmox 5.1/Luminous с полностью SSD-развёртыванием прошлой ночью. Я добавил узел с 8 SSD на 1,6 ТБ в кластер, где уже было 70 дисков по 480 ГБ; в итоге начался полный беспорядок — куча stuck PG, которые пришлось вручную чистить после ребаланса. Был полный хаос, и решение проблемы заняло несколько часов. @devs, какова правильная процедура и какие настройки ceph нужно использовать, чтобы добавить OSD в существующий кластер и при этом сохранить его работоспособность?

wahmed

Guest

#12

09.04.2018 19:42:00

Вот что, на мой взгляд, произошло. Я не знаю, какую именно процедуру ты использовал при добавлении этого узла, так что заранее прошу прощения. Если ты добавил узел и все 8 SSD сразу, то подобная проблема вполне ожидаема. К тому же твои новые SSD — 1,6 ТБ вместо 480 ГБ. Это, вероятно, усугубило ситуацию, если при добавлении каждого OSD был выставлен максимальный вес. Думаю, ты знаком с понятием «веса» OSD. Новые 1,6 ТБ OSD, очевидно, имеют гораздо больший вес, чем 480 ГБ. Ceph пытается распределять данные на основе веса: чем выше вес, тем больше объём данных. В такой ситуации весь твой кластер Ceph пришёл в хаос, пытаясь перераспределить огромный объём данных со всех 70 OSD. Правильнее было бы добавить все OSD сразу с весом 0, а затем постепенно увеличивать, например, до 0,10 или 0,25, ждать окончания перераспределения, снова увеличивать и так далее. Тогда Ceph не сойдёт с ума, обрабатывая меньшие порции данных. Учти, что 8 OSD по 1,6 ТБ будут содержать гораздо больше данных, чем когда все OSD хранят примерно одинаковое количество объектов. Надеюсь, это поможет.

alexskysilk

Guest

#13

09.04.2018 19:47:00

Спасибо, Васим. Я тоже так думал, но если я использую pveceph для создания OSD, он создастся с полной нагрузкой. Безопасно ли делать так и потом менять вес после развертывания, или лучше сразу создать вручную с более подходящим значением веса?

wahmed Guest	#14 0 09.04.2018 19:59:00 Вы абсолютно правы, pveceph/GUI создаёт OSD с полным весом. В большинстве случаев это действительно не проблема. Если у вас очень низкие настройки потоков восстановления и вы добавляете по одному OSD, кластер Ceph справится с нагрузкой без проблем. Если у вас есть выделённая сеть для синхронизации Ceph со скоростью более 10 Гбит/с, это не вызовет никакого хаоса. У нас есть большие кластеры Pmx+Ceph с множеством OSD. Но мы стараемся держать OSD одинакового размера и просто использовать GUI для добавления или удаления OSD. Единственный раз, когда мы делаем OSD вручную — это когда ситуация похожа на вашу. Просто имейте в виду, что «всё», что связано с Ceph OSD, занимает «много времени». Представьте, что вы в будущем заменяете 70 OSD по 1,6 ТБ — ждите очень долгий процесс. Но хорошая новость в том, что вы можете сделать этот процесс максимально незаметным для пользователей, если просто смиритесь с фактором времени.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры