Аспро: ЛайтШоп [тема: Перенести журнал Ceph на SSD?]

Перенести журнал Ceph на SSD?

Fri, 19 Jan 2018 13:27:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Удо, это $PARTNUMBER серийный номер SSD? lspci -vvv -d 8086:0953 | grep "Device Serial Number" lspci -vvv -d 8086:0953 Код: lspci -vvv -d 8086:0953 07:00.0 контроллер энергозависимой памяти: Intel Corporation PCIe Data Center SSD (rev 01) (prog-if 02 [NVM Express]) Подсистема: Intel Corporation DC P3700 SSD Физический слот: 2 Управление: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR- FastB2B- DisINTx+ Статус: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- SERR- Возможности: [190 v1] Альтернативная интерпретация маршрута-ID (ARI) ARICap: MFVC- ACS-, Следующая функция: 0 ARICtl: MFVC- ACS-, Группа функций: 0 Возможности: [270 v1] Серийный номер устройства 55-cd-2e-41-4d-4d-4a-5d Возможности: [2a0 v1] #19 Драйвер ядра в использовании: nvme выяснил, что способ переноса журнала на nvme/ssd был только для дисков filestore, а не bluestore... это ничего не изменило. Похоже, мне нужно уничтожить и заново создать эти диски, как я делал, когда переходил с filestore на bluestore. Также мне хотелось бы знать, какого размера должны быть эти разделы... для wal.db и block.db. Я нигде не нашел на этот вопрос подходящий ответ. Может, кто-то объяснит, как мне организовать пул SSD из оставшегося пространства?
19.01.2018 13:27:00, tommytom.

Перенести журнал Ceph на SSD?

Fri, 19 Jan 2018 13:04:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, типовой код журнала-раздела не совпадает с типовым кодом ceph-журнала! Код: sgdisk -t $PARTNUMBER:45b0969e-9b03-4f30-b4c6-b4b80ceff106 /dev/nvme0n1 должен установить правильный типовой код. С помощью "iostat -dm 5 /dev/nvme0n1" ты можешь проверить, используется ли диск для записи. Удо
19.01.2018 13:04:00, udo.

Перенести журнал Ceph на SSD?

Thu, 18 Jan 2018 23:28:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня есть кластер с 8 серверами и 88 OSD, все прошло хорошо, и я решил добавить SSD Intel 3700 PCIe к каждому серверу для журналирования и отдельный пул SSD с остальным пространством. Разделы флеш-карт на всех серверах выглядят следующим образом: Code: oot@srv4332:~# parted /dev/nvme0n1 GNU Parted 3.2 Using /dev/nvme0n1 Welcome to GNU Parted! Type 'help' to view a list of commands. (parted) print Model: Unknown (unknown) Disk /dev/nvme0n1: 800GB Sector size (logical/physical): 512B/512B Partition Table: gpt Disk Flags:

Number Start End Size File system Name Flags 1 1049kB 15.0GB 15.0GB journal-55 2 15.0GB 30.0GB 15.0GB journal-56 3 30.0GB 45.0GB 15.0GB journal-57 4 45.0GB 60.0GB 15.0GB journal-58 5 60.0GB 75.0GB 15.0GB journal-59 6 75.0GB 90.0GB 15.0GB journal-60 7 90.0GB 105GB 15.0GB journal-61 8 105GB 120GB 15.0GB journal-62 9 120GB 135GB 15.0GB journal-63 10 135GB 150GB 15.0GB journal-64 11 150GB 165GB 15.0GB journal-65 12 165GB 800GB 635GB SSDPool. Из-за 88 дисков я написал маленький скрипт, который выполняет изменения ПОШАГОВО: Code: #! /bin/sh ID=$1 if [ "x$ID" = "x" ]; then echo usage: fj.sh ID exit fi

FILE=/etc/pve/ceph.conf

echo Adding Journal $ID config to $FILE HOST=`hostname` IP=`hostname --ip-address` echo "[osd.$ID]" >> $FILE echo " host = $HOST" >> $FILE echo " public_addr = $IP" >> $FILE echo " cluster_addr = $IP" >> $FILE echo " osd_journal = /dev/disk/by-partlabel/journal-$ID" >> $FILE

echo Moving Journal to SSD for DEVICE $ID DEV=`findmnt -n -o SOURCE --target /var/lib/ceph/osd/ceph-$ID` echo DeviceName: $DEV echo stop ceph-osd@$ID systemctl stop ceph-osd@$ID echo flushing journal for ceph-osd@$ID ceph-osd -i $ID --flush-journal echo ReMounting Device $DEV umount /var/lib/ceph/osd/ceph-$ID mount $DEV /var/lib/ceph/osd/ceph-$ID echo making the journal for $ID ceph-osd -i $ID --mkjournal echo finally starting osd $ID again systemctl start ceph-osd@$ID. Все прошло хорошо... даже со скриптом это заняло около 2 часов для этих 88 дисков, но если я выполняю ceph-disk list, чтобы проверить, работает ли это, я получаю следующее: Code: /dev/nvme0n1 : /dev/nvme0n1p1 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p10 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p11 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p12 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p2 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p3 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p4 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p5 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p6 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p7 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p8 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p9 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/sda : /dev/sda1 other, 21686148-6449-6e6f-744e-656564454649 /dev/sda2 other, vfat, mounted on /boot/efi /dev/sda3 other, LVM2_member /dev/sdb : /dev/sdb1 ceph data, active, cluster ceph, osd.55, block /dev/sdb2 /dev/sdb2 ceph block, for /dev/sdb1 /dev/sdc : /dev/sdc1 ceph data, active, cluster ceph, osd.56, block /dev/sdc2 /dev/sdc2 ceph block, for /dev/sdc1 /dev/sdd : /dev/sdd1 ceph data, active, cluster ceph, osd.57, block /dev/sdd2 /dev/sdd2 ceph block, for /dev/sdd1 /dev/sde : /dev/sde1 ceph data, active, cluster ceph, osd.58, block /dev/sde2 /dev/sde2 ceph block, for /dev/sde1 /dev/sdf : /dev/sdf1 ceph data, active, cluster ceph, osd.59, block /dev/sdf2 /dev/sdf2 ceph block, for /dev/sdf1 /dev/sdg : /dev/sdg1 ceph data, active, cluster ceph, osd.60, block /dev/sdg2 /dev/sdg2 ceph block, for /dev/sdg1 /dev/sdh : /dev/sdh1 ceph data, active, cluster ceph, osd.61, block /dev/sdh2 /dev/sdh2 ceph block, for /dev/sdh1 /dev/sdi : /dev/sdi1 ceph data, active, cluster ceph, osd.62, block /dev/sdi2 /dev/sdi2 ceph block, for /dev/sdi1 /dev/sdj : /dev/sdj1 ceph data, active, cluster ceph, osd.63, block /dev/sdj2 /dev/sdj2 ceph block, for /dev/sdj1 /dev/sdk : /dev/sdk1 ceph data, active, cluster ceph, osd.64, block /dev/sdk2 /dev/sdk2 ceph block, for /dev/sdk1 /dev/sdl : /dev/sdl1 ceph data, active, cluster ceph, osd.65, block /dev/sdl2 /dev/sdl2 ceph block, for /dev/sdl1. Я не вижу журналы нигде, и не знаю, работают ли они. Скорость кластера при установке новой ВМ по-прежнему кажется медленной, как диск... Во-вторых, я хотел бы знать, как добавить ПОСЛЕДНИЙ раздел (SSDPool) в отдельный пул SSD. ceph-deploy не установлен на proxmox. Я читал, что это не поддерживается... вы знаете, как это сделать? Буду благодарен за помощь.
18.01.2018 23:28:00, tommytom.

Перенести журнал Ceph на SSD?

Tue, 07 Nov 2017 10:17:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты видел команды, которые я выложил? Я использовал твои точные команды, но ты только что подтвердил, что из-за изменения версии команды могли измениться. Одна из проблем, с которой я столкнулся, в том, что ты не можешь остановить OSD с командной строки, поэтому мне пришлось остановить его через интерфейс Proxmox. Код: root@virt1:~# ceph osd set noout noout установлено root@virt1:~# /etc/init.d/ceph stop osd.0 [ ok ] Остановка ceph (через systemctl): ceph.service. root@virt1:~# ps ax | grep osd 2402 ? Ssl 22:04 /usr/bin/ceph-osd -f --cluster ceph --id 0 --setuser ceph --setgroup ceph 2525 ? Ssl 22:23 /usr/bin/ceph-osd -f --cluster ceph --id 2 --setuser ceph --setgroup ceph 2837 ? Ssl 24:49 /usr/bin/ceph-osd -f --cluster ceph --id 1 --setuser ceph --setgroup ceph 14887 pts/0 S+ 0:00 grep osd Да. Но даже если OSD остановлен, этот файл все равно существует. Так что теперь? Почему 100ГБ такая плохая идея? У меня есть SSD на 400ГБ, и я хочу оптимизировать оборудование, которое у меня есть, насколько это возможно. Настройка следующая: 3 сервера Supermicro с такими характеристиками на сервер: 128ГБ ОЗУ 3x 8ТБ SATA HDD 2x SSD-диска (intel_ssdsc2ba400g4 - 400ГБ DC S3710) 2x 12 ядерные ЦП (Intel® Xeon® CPU E5-2650 v4 @ 2.20GHz) Квартетный порт 10Gbe Inter NIC 2x 10ГБ коммутаторов Cisco (для изоляции хранилищной сети от LAN)
07.11.2017 10:17:00, Magneto.

Перенести журнал Ceph на SSD?

Tue, 07 Nov 2017 08:19:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, похоже, что ты действительно не совсем понимаешь, как это работает. Ты можешь сбросить журнал только если OSD остановлен! С момента (версии ceph) способ остановки OSD изменился... Это на самом деле плохая и опасная идея! Существующий asock означает, что процесс OSD запущен!! Поэтому я не ожидаю, что команды сработают! Журнал на 100 ГБ не имеет смысла!! 10 ГБ должно быть вполне достаточно - возможно, немного больше (например, 12 ГБ), но не так много. Система должна иметь возможность синхронизировать журнал с OSD в нормальные сроки (и делать это, если ты не используешь безумные значения в своем ceph.conf). Удо
07.11.2017 08:19:00, udo.

Перенести журнал Ceph на SSD?

Tue, 07 Nov 2017 05:42:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я попробовал твой способ, но он не сработал следующим образом: Я вручную остановил OSD в интерфейсе Proxmox и смог его очистить: Но позже я получил следующую ошибку: Я вручную удалил "/var/run/ceph/ceph-osd.0.asok" и попробовал снова. Не уверен, правильно ли я поступил? Но в конечном итоге у меня все еще имеется 1GB OSD-журнал: Я в принципе хочу увеличить размер журнала до 100GB. P.S. Это тестовая машина, так что журнал находится на SATA-диске. На самом деле сервер, который я использую, имеет SSD для журнала. Моя проблема в том, что журнал всего 1GB.
07.11.2017 05:42:00, Magneto.

Перенести журнал Ceph на SSD?

Mon, 06 Nov 2017 16:40:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
ceph-disk list
06.11.2017 16:40:00, mbaldini.

Перенести журнал Ceph на SSD?

Mon, 06 Nov 2017 15:03:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как можно узнать, какой журнал использует OSD?
06.11.2017 15:03:00, Magneto.

Перенести журнал Ceph на SSD?

Sat, 16 Sep 2017 23:13:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Правильно, записи для отдельных OSD необходимы только если вы хотите установить разные параметры для этого OSD. Так что, если вам нужны специальные настройки для OSD, создайте запись. Удо
16.09.2017 23:13:00, udo.

Перенести журнал Ceph на SSD?

Sat, 16 Sep 2017 20:11:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
My /etc/pve/ceph.conf: Код: [global] auth client required = cephx auth cluster required = cephx auth service required = cephx cluster network = 10.10.10.0/24 filestore xattr use omap = true fsid = 08f99da6-2cc6-496c-a204-d15177cf69a8 keyring = /etc/pve/priv/$cluster.$name.keyring osd journal size = 5120 osd pool default min size = 1 public network = 10.10.10.0/24 [osd] keyring = /var/lib/ceph/osd/ceph-$id/keyring [mon.0] host = prx1 mon addr = 10.10.10.101:6789 [mon.1] host = prx2 mon addr = 10.10.10.102:6789 [mon.2] host = prx3 mon addr = 10.10.10.103:6789 Не могу найти: [osd.2] Извините за мой английский, используйте Google Translate.
16.09.2017 20:11:00, Donnie.

Перенести журнал Ceph на SSD?

Sat, 16 Sep 2017 19:55:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, с ви? Удо
16.09.2017 19:55:00, udo.

Перенести журнал Ceph на SSD?

Sat, 16 Sep 2017 19:47:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у меня Proxmox 4.4, и я хотел бы добавить разделенный SSD, чтобы использовать его в качестве журнала. Я хотел следовать этой инструкции, но не могу найти, как изменить конфигурацию osd в /etc/pve/ceph.conf Код: .....

# измените ceph.conf, чтобы новый путь к журналу использовался
[osd.2]
host = ceph-01
public_addr = 192.168.2.11
cluster_addr = 192.168.3.11
osd_journal = /dev/disk/by-partlabel/journal-2

..... Донателло
16.09.2017 19:47:00, Donnie.

Перенести журнал Ceph на SSD?

Fri, 28 Aug 2015 08:41:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Перемещение журнала Ceph на SSD? Привет, Удо, Все сработало, как и обещали. Спасибо еще раз за твою помощь! Мартин
28.08.2015 08:41:00, Waschbüsch.

Перенести журнал Ceph на SSD?

Fri, 19 Jan 2018 13:45:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, это означает номер раздела (1,2,3,4...) да - если вы используете bluestore! Насколько мне известно, переместить bluestore-журнал не получится (вам нужно воссоздать весь OSD). Удо
19.01.2018 13:45:00, udo.

Перенести журнал Ceph на SSD?

Thu, 13 Aug 2015 12:14:00 +0300

Перенести журнал Ceph на SSD? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем, я думал о том, чтобы добавить по одному (серверному) SSD к моим трем узлам Ceph. В данный момент в каждом узле по два OSD, и журналы находятся на самом диске. У меня есть несколько вопросов по концепциям: - Могут ли два журнала располагаться на одном разделе SSD? - Или мне нужно выделить один раздел на каждый OSD? - Есть ли способ мигрировать журнал или мне нужно заново создавать OSD? - Есть ли другие параметры или элементы конфигурации Ceph, которые нужно изменить для нового конфигурации? В конце концов, я склонялся к SSD Intel S3700 Series за их долговечность. У кого-то есть опыт с ними или другие рекомендации? Как насчет размера? Могу ли я обойтись моделью на 100Г или нужно больше места? Спасибо, Мартин
13.08.2015 12:14:00, Waschbüsch.