+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ceph - Балансировка распределения OSD (новое в Luminous), Proxmox Виртуальная Среда

David Herselman

Guest

29.04.2018 16:42:00

Процесс обновления Proxmox Ceph потенциально должен рекомендовать пользователям рассмотреть возможность изменения существующего алгоритма распределения ведер с 'straw' на 'straw2'. Это также является требованием при использовании модуля балансировщика Ceph. Максимальная дисперсия по каждому OSD: Код: До: После:
osd.20 838G (45%) использовано osd.16 803G (43%) использовано
osd.5 546G (29%) использовано osd.1 680G (37%) использовано Подтвердите, что минимальная версия клиента — jewel или выше: Код: [admin@kvm5b ~]# ceph osd dump|grep require_min_compat_client;
require_min_compat_client jewel Все ведра должны использовать straw2: обновите ведра: Код: ceph osd crush set-all-straw-buckets-to-straw2; проверьте: Код: [root@kvm1 ~]# ceph osd getcrushmap -o crush.map; crushtool -d crush.map | grep straw; rm -f crush.map
218
tunable straw_calc_version 1
alg straw2
alg straw2
alg straw2
alg straw2 Балансировщик распределения Ceph: активируйте балансировку: Код: ceph mgr module ls
ceph mgr module enable balancer
ceph balancer on
ceph balancer mode crush-compat
ceph config-key set "mgr/balancer/max_misplaced": "0.01" Показать конфигурацию и состояние: Код: ceph config-key dump
ceph balancer status Создайте план, просмотрите и выполните его. Затем удалите все пользовательские планы: Код: ceph balancer eval
ceph balancer optimize myplan
ceph balancer eval myplan
ceph balancer show myplan
ceph balancer execute myplan
ceph balancer reset Список желаемого: Proxmox VE 5.2, возможно, стоит рассмотреть обновление клиента Ceph, предположительно, используемого для мониторинга Ceph. Это позволило бы нам перейти с 'crush-compat' на 'upmap'. Код: [admin@kvm5b ~]# ceph features
{
"mon": {
"group": {
"features": "0x1ffddff8eea4fffb",
"release": "luminous",
"num": 3
}
},
"mds": {
"group": {
"features": "0x1ffddff8eea4fffb",
"release": "luminous",
"num": 3
}
},
"osd": {
"group": {
"features": "0x1ffddff8eea4fffb",
"release": "luminous",
"num": 29
}
},
"client": {
"group": {
"features": "0x7010fb86aa42ada",
"release": "jewel",
"num": 6
},
"group": {
"features": "0x1ffddff8eea4fffb",
"release": "luminous",
"num": 10
}
}
} Перед перераспределением: Код: [admin@kvm5a ~]# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
0 hdd 1.81898 1.00000 1862G 680G 1181G 36.55 1.21 66
1 hdd 1.81898 1.00000 1862G 588G 1273G 31.60 1.05 66
2 hdd 1.81898 1.00000 1862G 704G 1157G 37.85 1.25 75
3 hdd 1.81898 1.00000 1862G 682G 1179G 36.66 1.21 74
24 nvme 2.91089 1.00000 2980G 114G 2865G 3.85 0.13 71
4 hdd 1.81898 1.00000 1862G 804G 1057G 43.19 1.43 84
5 hdd 1.81898 1.00000 1862G 546G 1315G 29.34 0.97 56
6 hdd 1.81898 1.00000 1862G 623G 1238G 33.51 1.11 65
7 hdd 1.81898 1.00000 1862G 949G 912G 51.01 1.69 91
25 nvme 2.91089 1.00000 2980G 114G 2865G 3.86 0.13 68
8 hdd 1.81898 1.00000 1862G 692G 1169G 37.18 1.23 70
9 hdd 1.81898 1.00000 1862G 716G 1145G 38.50 1.28 78
10 hdd 1.81898 1.00000 1862G 666G 1195G 35.82 1.19 69
11 hdd 1.81898 1.00000 1862G 903G 958G 48.51 1.61 90
26 nvme 2.91089 1.00000 2980G 114G 2866G 3.84 0.13 74
12 hdd 1.81898 1.00000 1862G 748G 1113G 40.20 1.33 73
13 hdd 1.81898 1.00000 1862G 835G 1026G 44.85 1.49 85
14 hdd 1.81898 1.00000 1862G 760G 1101G 40.83 1.35 77
15 hdd 1.81898 1.00000 1862G 593G 1268G 31.85 1.06 64
27 nvme 2.91089 1.00000 2980G 114G 2866G 3.83 0.13 71
16 hdd 1.81898 1.00000 1862G 804G 1057G 43.23 1.43 75
17 hdd 1.81898 1.00000 1862G 700G 1161G 37.62 1.25 73
18 hdd 1.81898 1.00000 1862G 622G 1239G 33.44 1.11 65
19 hdd 1.81898 1.00000 1862G 716G 1145G 38.50 1.28 73
28 nvme 2.91089 1.00000 2980G 114G 2866G 3.84 0.13 68
20 hdd 1.81898 1.00000 1862G 838G 1023G 45.01 1.49 86
21 hdd 1.81898 1.00000 1862G 758G 1103G 40.75 1.35 75
22 hdd 1.81898 1.00000 1862G 714G 1147G 38.37 1.27 69
23 hdd 1.81898 1.00000 1862G 760G 1101G 40.82 1.35 77
ИТОГО 59594G 17987G 41607G 30.18
МИН/МАКС ДИСПЕРСИЯ: 0.13/1.69 СТАНД. ОТКЛОНЕНИЕ: 14.34 После перераспределения: Код: [admin@kvm5b ~]# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
0 hdd 1.81898 1.00000 1862G 769G 1092G 41.34 1.37 74
1 hdd 1.81898 1.00000 1862G 680G 1181G 36.53 1.21 74
2 hdd 1.81898 1.00000 1862G 691G 1170G 37.16 1.23 74
3 hdd 1.81898 1.00000 1862G 682G 1179G 36.68 1.22 74
24 nvme 2.91089 1.00000 2980G 114G 2866G 3.85 0.13 71
4 hdd 1.81898 1.00000 1862G 712G 1149G 38.29 1.27 74
5 hdd 1.81898 1.00000 1862G 736G 1125G 39.53 1.31 74
6 hdd 1.81898 1.00000 1862G 715G 1146G 38.44 1.27 74
7 hdd 1.81898 1.00000 1862G 758G 1104G 40.71 1.35 74
25 nvme 2.91089 1.00000 2980G 115G 2865G 3.88 0.13 71
8 hdd 1.81898 1.00000 1862G 746G 1115G 40.12 1.33 74
9 hdd 1.81898 1.00000 1862G 669G 1192G 35.98 1.19 74
10 hdd 1.81898 1.00000 1862G 712G 1149G 38.26 1.27 74
11 hdd 1.81898 1.00000 1862G 736G 1125G 39.54 1.31 74
26 nvme 2.91089 1.00000 2980G 114G 2866G 3.84 0.13 70
12 hdd 1.81898 1.00000 1862G 760G 1101G 40.84 1.35 74
13 hdd 1.81898 1.00000 1862G 722G 1139G 38.82 1.29 74
14 hdd 1.81898 1.00000 1862G 727G 1134G 39.07 1.29 74
15 hdd 1.81898 1.00000 1862G 704G 1157G 37.82 1.25 74
27 nvme 2.91089 1.00000 2980G 115G 2865G 3.87 0.13 70
16 hdd 1.81898 1.00000 1862G 803G 1058G 43.16 1.43 74
17 hdd 1.81898 1.00000 1862G 713G 1149G 38.30 1.27 74
18 hdd 1.81898 1.00000 1862G 690G 1171G 37.10 1.23 74
19 hdd 1.81898 1.00000 1862G 728G 1133G 39.14 1.30 74
28 nvme 2.91089 1.00000 2980G 114G 2866G 3.83 0.13 70
20 hdd 1.81898 1.00000 1862G 714G 1147G 38.37 1.27 74
21 hdd 1.81898 1.00000 1862G 723G 1138G 38.88 1.29 74
22 hdd 1.81898 1.00000 1862G 769G 1092G 41.31 1.37 74
23 hdd 1.81898 1.00000 1862G 738G 1123G 39.65 1.31 74
ИТОГО 59594G 17985G 41608G 30.18
МИН/МАКС ДИСПЕРСИЯ: 0.13/1.43 СТАНД. ОТКЛОНЕНИЕ: 13.62

dmulk Guest	#2 0 09.10.2018 02:03:00 Я только что обновился с Jewel на Luminous и хотел спросить, актуально ли это. Я вижу, что все мои узлы сейчас настроены на "alg straw", так что, похоже, это все еще так... Спасибо! Дэн

David Herselman

Guest

09.10.2018 02:49:00

Да, всё ещё рекомендую Proxmox обновить их вики, чтобы пользователи смогли перевести все straw buckets в straw2, и большинство развертываний получило бы выгоду от минимизации полных OSD из-за неравномерного распределения данных. Было бы здорово, если бы Proxmox обновил инструменты мониторинга, чтобы они основывались на Luminous, чтобы мы могли переключиться на только 'upmap' в Luminous. Работал в 3 производственных кластерах уже больше 6 месяцев без единой проблемки...

dmulk

Guest

09.10.2018 02:57:00

Давид, огромное СПАСИБО за то, что поделился этой информацией здесь. Я только что обновил свою среду на прошлых выходных с 4.x до 5.2-9, и одним из причин перейти на Luminous было желание сбалансировать свои OSD. У меня большие процентные перекосы. Я последую твоим инструкциям! С нетерпением жду более равномерного распределения данных! <D>

dmulk

Guest

09.10.2018 19:07:00

Кстати, я только что запустил функции CEPH, и под клиентом у меня отображается luminous. Я обновил с 4.x до 5.2-9 в эти выходные... так что, судя по этому, Проксмокс обновил свой клиент, и теперь мы можем использовать upmap... верно?

dmulk

Guest

09.10.2018 19:20:00

Также вопрос: Похоже, вы выполняете это вручную... в документации по CEPH в разделе Balancer Plugin указано, что он "работает автоматически", если он включен и используется ceph balancer. Из опыта, как вы думаете, лучше запускать его время от времени вручную, как вы делаете, или просто оставить его запущенным? http://docs.ceph.com/docs/mimic/mgr/balancer/ Поскольку это была первая попытка обновления CEPH/Proxmox, я решил быть осторожным с данными... поэтому я перенес большую их часть с CEPH на другие виды хранения. Я еще не перенес их обратно... так что в моем случае это было бы огромное количество данных (50TB?), и в прошлом из-за дисбаланса данных у меня были случаи, когда OSD заканчивались местом, и мне приходилось откатывать или отменять миграцию. Интересно, как балancer мог бы помочь во время большой миграции данных... мысли? <D>

dmulk Guest	#7 0 09.10.2018 22:04:00 Еще один вопрос: какое различие между командой, которую ты предлагаешь: ceph config-key set "mgr/balancer/max_misplaced": "0.01" и той, что в документации: ceph config set mgr mgr/balancer/max_misplaced .07 # 7%? Они делают одно и то же?

janos Guest	#8 0 10.10.2018 10:32:00 Это настраивает, насколько процентное различие допустимо между OSD. Мы используем стандартные 5% с 1TB HDD.

dmulk Guest	#9 0 10.10.2018 18:31:00 Хорошо, обе эти строки делают одно и то же, а именно, устанавливают значение дефолтного процентного отличия. Понял. Спасибо!

dmulk Guest	#10 0 10.10.2018 18:35:00 Я вчера просмотрел эти настройки, и всё прошло отлично. Ранее я упоминал, что не мог запустить upmap, потому что версия клиента CEPH в Proxmox всё ещё была Jewel, но, похоже, это изменилось... когда я запускаю ceph features, в разделе клиента я вижу только luminous. Кто-нибудь может подтвердить? upmap, кажется, это верное направление. Удачи, <D>

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры