+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Добавление SSD для улучшения производительности Ceph, Proxmox Виртуальная Среда

breakaway9000

Guest

28.05.2020 03:28:00

Всем привет. У нас есть 3-узловый кластер Ceph, который содержит 4 x 6 ТБ SATA-диска с очень низкой скоростью записи I/O. У меня есть WAL и block.db на быстрых SSD, но их недостаточно для нашей нагрузки. Поэтому я установил по одному корпоративному SSD (1.2 ТБ) в каждый хост. Во-первых, я хочу создать совершенно новый пул (новые OSD) только с этими SSD и провести тестирование производительности, чтобы увидеть, как будет работать пул только на SSD. У меня уже есть данные в этом пуле (см. вложение). Наши данные находятся в пуле Ceph, который расположен на этом. Я хочу настроить новый пул (только с одним SSD OSD на систему) для тестирования. Я нашел эту тему и этот гайд https://forum.proxmox.com/threads/multiple-ceph-pools-possible.37905/ https://ceph.com/community/new-luminous-crush-device-classes/. Я правильно понимаю, что это не вызовет никаких проблем с данными в текущем пуле?

Alwin

Guest

01.07.2020 10:36:00

crush_rule 0 — это правило по умолчанию (id 0). Правило replicated-ssd имеет id 2. Вам также нужно установить новое правило для пула. Посмотрите нашу документацию по этому вопросу. https://pve.proxmox.com/pve-docs/chapter-pveceph.html#pve_ceph_device_classes

breakaway9000

Guest

02.07.2020 06:17:00

Привет, Альвин! Теперь я понимаю, что ты имеешь в виду. Я обновил правило, выполнив команду: ceph osd pool set ceph_ssd crush_rule replicated-ssd согласно документации. Вывод ceph osd dump теперь показывает, что пул ssd использует правило с id 2 — я ожидал, что это вызовет какое-то перераспределение, но, похоже, ничего не было "перемещено". Мне нужно еще что-то сделать, чтобы переместить данные в этот пул? У меня только одна тестовая виртуальная машина, так что я не против ее удалить и создать заново, если потребуется. Код: epoch 3855 fsid 5526ca13-287b-46ff-a302-9b1853a5fb25 created 2018-03-17 17:03:08.615625 modified 2020-07-02 16:10:04.052387 flags sortbitwise,recovery_deletes,purged_snapdirs crush_version 145 full_ratio 0.95 backfillfull_ratio 0.9 nearfull_ratio 0.85 require_min_compat_client jewel min_compat_client jewel require_osd_release luminous pool 9 'ceph_hdd' replicated size 3 min_size 2 crush_rule 1 object_hash rjenkins pg_num 512 pgp_num 512 last_change 3838 flags hashpspool stripe_width 0 application rbd removed_snaps [1~3,9~4,f~15,25~4,2a~6d] pool 15 'ceph_ssd' replicated size 2 min_size 1 crush_rule 2 object_hash rjenkins pg_num 12 pgp_num 12 last_change 3855 flags hashpspool stripe_width 0 application rbd removed_snaps [1~3] max_osd 13 osd.0 up in weight 1 up_from 2584 up_thru 3853 down_at 2574 last_clean_interval [2319,2573) 172.17.1.50:6801/3484 10.10.10.1:6801/3484 10.10.10.1:6803/3484 172.17.1.50:6803/3484 exists,up 94be3a75-ffdf-42ca-86de-1e0c16f8bf76 osd.1 up in weight 1 up_from 3765 up_thru 3853 down_at 3763 last_clean_interval [2629,3762) 172.17.1.50:6804/756211 10.10.10.1:6804/756211 10.10.10.1:6805/756211 172.17.1.50:6805/756211 exists,up 7e0dcd82-a602-43bc-af8e-e3158ae7332a osd.2 up in weight 1 up_from 2580 up_thru 3853 down_at 2574 last_clean_interval [2323,2573) 172.17.1.50:6800/3638 10.10.10.1:6800/3638 10.10.10.1:6802/3638 172.17.1.50:6802/3638 exists,up b93a6236-5e9c-4ed5-a3ad-1e267a4b7bef osd.3 up in weight 1 up_from 3853 up_thru 3853 down_at 3851 last_clean_interval [3849,3850) 172.17.1.52:6803/1396176 10.10.10.3:6802/1396176 10.10.10.3:6803/1396176 172.17.1.52:6804/1396176 exists,up b9003899-49cf-41bf-bfb0-f32a2c3fa1ea osd.4 up in weight 1 up_from 3841 up_thru 3841 down_at 3839 last_clean_interval [3823,3838) 172.17.1.52:6801/2381162 10.10.10.3:6804/2381162 10.10.10.3:6805/2381162 172.17.1.52:6805/2381162 exists,up 8729d950-d123-4a2f-aa30-2c2674a495cc osd.5 up in weight 1 up_from 3845 up_thru 3845 down_at 3843 last_clean_interval [3831,3842) 172.17.1.52:6800/1404023 10.10.10.3:6800/1404023 10.10.10.3:6801/1404023 172.17.1.52:6802/1404023 exists,up e83ca331-3404-4501-b70c-89fe0f62c6d9 osd.6 up in weight 1 up_from 2525 up_thru 3853 down_at 2522 last_clean_interval [2473,2521) 172.17.1.54:6800/3668 10.10.10.5:6800/3668 10.10.10.5:6801/3668 172.17.1.54:6801/3668 exists,up 4138a4f0-f450-4f32-8f3c-3d31b068de6b osd.7 up in weight 1 up_from 2605 up_thru 3853 down_at 2603 last_clean_interval [2529,2602) 172.17.1.54:6802/3592433 10.10.10.5:6802/3592433 10.10.10.5:6803/3592433 172.17.1.54:6803/3592433 exists,up eed5435a-a696-4e37-bb4f-31b6e871b486 osd.8 up in weight 1 up_from 2527 up_thru 3853 down_at 2522 last_clean_interval [2474,2521) 172.17.1.54:6804/3787 10.10.10.5:6804/3787 10.10.10.5:6805/3787 172.17.1.54:6805/3787 exists,up bc84595f-b8e6-4d9c-8e10-570c9550d041 osd.9 up in weight 1 up_from 3637 up_thru 3690 down_at 0 last_clean_interval [0,0) 172.17.1.50:6806/4178391 10.10.10.1:6806/4178391 10.10.10.1:6807/4178391 172.17.1.50:6807/4178391 exists,up 4b22a075-26e9-4eca-96f3-5e46ebcd61ed osd.10 up in weight 1 up_from 3640 up_thru 3690 down_at 0 last_clean_interval [0,0) 172.17.1.51:6800/614354 10.10.10.2:6800/614354 10.10.10.2:6801/614354 172.17.1.51:6801/614354 exists,up 51fcc403-7e5f-4e53-a412-94c44d53e294 osd.11 up in weight 1 up_from 3643 up_thru 3690 down_at 0 last_clean_interval [0,0) 172.17.1.53:6800/3404422 10.10.10.4:6800/3404422 10.10.10.4:6801/3404422 172.17.1.53:6801/3404422 exists,up c645e67f-4613-4361-b33b-8fafef3d2f7a osd.12 up in weight 1 up_from 3646 up_thru 3690 down_at 0 last_clean_interval [0,0) 172.17.1.54:6807/1396991 10.10.10.5:6806/1396991 10.10.10.5:6807/1396991 172.17.1.54:6808/1396991 exists,up dd554288-a855-453f-b146-1cabe0b79b9c

Alwin Guest	#4 0 29.06.2020 12:06:00 Ваш пул ceph_ssd все еще использует правило по умолчанию, а не replicated-ssd.

breakaway9000

Guest

30.06.2020 21:46:00

Привет, Альвин. Можешь, пожалуйста, уточнить, как ты пришёл к такому выводу? В соответствии с постом #5, я создал пул ceph с помощью этой команды Code: ceph osd crush rule create-replicated replicated-ssd default host ssd, а затем добавил SSD: Code: pveceph osd create /dev/<devicename>. После этого я создал пул с помощью команды Code: ceph osd crush rule create-replicated replicated-ssd default host ssd. Затем, в интерфейсе Proxmox, я зашёл в Ceph > Pools > Create и добавил новый пул, выбрав replicated-ssd. Я что-то упустил?

breakaway9000

Guest

01.07.2020 04:19:00

@Alwyn - Я только что выполнил команду Code: ceph pg ls-by-pool <имя моего пула> и проверил столбцы up, primary и acting - все они ссылаются на OSD, которые хранят пул, и все это наши OSD. Я что-то упускаю? По-моему, все выглядит правильно.

Alwin Guest	#7 0 02.07.2020 10:59:00 Объекты перемещаются автоматически. Вы должны увидеть это в ceph df.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры