+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ceph конфигурация сломана, Proxmox Виртуальная Среда

joshbgosh10592

Guest

09.05.2019 05:21:00

Привет! Я начал установку и настройку Ceph, не до конца осознав, как именно хочу его настроить (ошибка #1). Теперь, следуя https://forum.proxmox.com/threads/changing-ceph-public-network.33083/, я внес некоторые изменения, но они оказались настолько неправильными, что команда "monmaptool --print tmpfile" возвращает "couldn't open tmpfile: (2) No such file or directory". При попытке редактирования в WebUI возникает "(500) got timeout", а при запуске монитора появляется сообщение об успехе, но при перезагрузке страницы отображается, что кворума нет. У меня есть IP-адреса, которые я теперь хочу использовать, и эта конфигурация не изменится, но как мне снова всё это запустить? В пулах у меня еще ничего нет, так как я только что настраиваю отдельную подсеть... Код: root@PVE-1:~# monmaptool --print tmpfile
monmaptool: monmap file tmpfile
epoch 9
fsid 7770d4e7-3305-4ca8-b780-508825023a70
last_changed 2019-05-07 21:52:22.105900
created 2019-04-24 22:05:40.902816
0: 10.9.220.1:6789/0 mon.PVE-1
1: 10.9.220.2:6789/0 mon.PVE-2
2: 10.9.220.49:6789/0 mon.PVE-Witness
3: 172.16.0.1:6789/0 mon.0
4: 172.16.0.2:6789/0 mon.1
5: 172.16.0.254:6789/0 mon.2 /etc/pve/ceph.conf и /etc/ceph/ceph.conf показывают: Код: [global]
auth client required = cephx
auth cluster required = cephx
auth service required = cephx
cluster network = 172.16.0.0/24
fsid = 7770d4e7-3305-4ca8-b780-508825023a70
keyring = /etc/pve/priv/$cluster.$name.keyring
mon allow pool delete = true
osd journal size = 5120
osd pool default min size = 2
osd pool default size = 2
public network = 172.16.0.0/24

[osd]
keyring = /var/lib/ceph/osd/ceph-$id/keyring

[mon.PVE-Witness]
host = PVE-Witness
mon addr = 172.16.0.254:6789

[mon.PVE-1]
host = PVE-1
mon addr = 172.16.0.1:6789 Изменение: я только что обновил Proxmox на всех трех узлах, и "ceph mon getmap -o tmpfile" снова зависает на какое-то время и в итоге возвращает "error (110) connection timed out. [errno 110] error connecting to the cluster".

Alwin Guest	#2 0 23.05.2019 07:04:00 Вы запустили ceph-mon на этом узле? А затем использовали '-m' в команде ceph, чтобы указать IP адрес MON и напрямую с ним общаться, так как в противном случае он пытается связаться с первым известным.

joshbgosh10592

Guest

30.05.2019 04:13:00

Под "запустить ceph-mon на этом узле" я предполагаю "service ceph start mon"? Я это сделал и пытался "systemctl start ceph.service", все то же самое. Предполагаю, что '-m' в команде ceph для указания IP MON нужно сделать до того, как я смогу запустить ceph.service, но не уверен, о какой команде ceph ты говоришь. Я выполнил "ceph -m PVE-1", и он вернул:
Код: root@PVE-1:~# ceph -m PVE-1
2019-05-29 22:15:09.830257 7f1e9af5f700 0 monclient(hunting): истекло время ожидания аутентификации после 300
2019-05-29 22:15:09.830314 7f1e9af5f700 0 librados: ошибка аутентификации client.admin (110) Время соединения истекло
[errno 110] ошибка подключения к кластеру. Я прошел шаги по добавлению мониторов в tmpfile отсюда: http://docs.ceph.com/docs/luminous/rados/operations/add-or-rm-mons/, но использовал шаги с "грязным способом", так как у меня и так все запущено в беспорядке. Tmpfile выглядит правильно:
Код: root@PVE-1:~# monmaptool --print tmpfile
monmaptool: файл monmap tmpfile
epoch 9
fsid 7770d4e7-3305-4ca8-b780-508825023a70
last_changed 2019-05-07 21:52:22.105900
created 2019-04-24 22:05:40.902816
0: 172.16.0.1:6789/0 mon.PVE-1
1: 172.16.0.2:6789/0 mon.PVE-2
2: 172.16.0.254:6789/0 mon.PVE-Witness, и я не получил никаких ошибок, когда я выполнил:
Код: root@PVE-1:~# ceph-mon -i PVE-1 --inject-monmap tmpfile. Так что я предполагаю, что все прошло хорошо, но все равно не удается запустить
Код: root@PVE-1:~# systemctl start ceph.service
root@PVE-1:~# systemctl status ceph.service
● ceph.service - активация дисков Ceph OSD PVE
Загружено: загружено (/etc/systemd/system/ceph.service; включено; предустановлено поставщиком: включено)
Активно: неактивно (вне работы) с Ср 2019-05-29 21:25:36 EDT; 6 секунд назад
Процесс: 810528 ExecStart=/usr/sbin/ceph-disk --log-stdout activate-all (код=вышел, статус=0/УСПЕХ)
Основной PID: 810528 (код=вышел, статус=0/УСПЕХ)
CPU: 555ms. Я чувствую, что мне чего-то не хватает. Как бы, должен ли это синхронизироваться с другими узлами, как только сервис запустится, или мне нужно заполнить tmpfile и внедрить на каждом узле?

joshbgosh10592 Guest	#4 0 04.06.2019 22:12:00 Есть мысли? Спасибо еще раз!

Alwin Guest	#5 0 05.06.2019 11:04:00 Либо у вас остался только один MON, и вы вносите изменения, либо изменения нужно сделать на всех MON перед их запуском.

joshbgosh10592

Guest

26.06.2019 19:46:00

Я смог внедрить tmpfile на PVE-1 и PVE-Witness (пришлось удалить /var/lib/ceph/mon/ceph-PVE-Witness/store.db/LOCK), но это прошло успешно только для этих двух. Однако для PVE-2 директория /var/lib/ceph/mon/ceph-PVE-2/store.db не существует, и я ее не удалял... Я создал директории, и это все равно не сработало. Код: root@PVE-2:~# ceph-mon -i PVE-2 --inject-monmap tmpfile
2019-06-26 13:45:58.372444 7fc9707b0100 -1 Неверный аргумент: /var/lib/ceph/mon/ceph-PVE-2/store.db: не существует (create_if_missing равно false)

2019-06-26 13:45:58.372468 7fc9707b0100 -1 ошибка открытия мон данных в '/var/lib/ceph/mon/ceph-PVE-2': (22) Неверный аргумент

Alwin Guest	#7 0 27.06.2019 06:54:00 Code: ceph-mon -i <ID> --mkfs Вы можете восстановить базу данных с помощью указанной команды.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры