+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

RSS

Osds не работают после перезагрузки, не удалось обновить символические ссылки устройства: слишком много уровней символических ссылок после обновления с 6.4 до 7., Proxmox Виртуальная Среда

Mikepop

Guest

20.07.2021 11:35:00

Здравствуйте, мы видим эти ошибки с момента обновления до 7 версии на каждом узле ceph: Код: 72619: 20 июля 08:27:14 int101 systemd-udevd[4773]: sdb2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72620: 20 июля 08:27:14 int101 systemd-udevd[4822]: sdd2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72621: 20 июля 08:27:14 int101 systemd-udevd[4970]: sde2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72622: 20 июля 08:27:14 int101 systemd-udevd[4770]: sdf2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72623: 20 июля 08:27:15 int101 systemd-udevd[4763]: sdc2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72624: 20 июля 08:27:15 int101 systemd-udevd[4764]: sdb2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72625: 20 июля 08:27:15 int101 systemd-udevd[4774]: sdh2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72626: 20 июля 08:27:15 int101 systemd-udevd[4773]: sdd2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72627: 20 июля 08:27:15 int101 systemd-udevd[4822]: sde2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72628: 20 июля 08:27:15 int101 systemd-udevd[4770]: sdc2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72629: 20 июля 08:27:15 int101 systemd-udevd[4764]: sdb2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72630: 20 июля 08:27:15 int101 systemd-udevd[4763]: sdh2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72631: 20 июля 08:27:15 int101 systemd-udevd[4773]: sdd2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72632: 20 июля 08:27:15 int101 systemd-udevd[4822]: sde2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок

72633: 20 июля 08:27:15 int101 systemd-udevd[4770]: sdc2: Не удалось обновить символьные ссылки устройства: Слишком много уровней символьных ссылок, но я не могу найти никаких символьных ссылок в dev... Код: root@int101:/dev# ls -la sd*

brw-rw---- 1 root disk 8, 0 20 июля 08:26 sda

brw-rw---- 1 root disk 8, 16 20 июля 08:26 sdb

brw-rw---- 1 root disk 8, 17 20 июля 08:26 sdb1

brw-rw---- 1 ceph ceph 8, 18 20 июля 11:27 sdb2

brw-rw---- 1 root disk 8, 32 20 июля 08:26 sdc

brw-rw---- 1 root disk 8, 33 20 июля 08:26 sdc1

brw-rw---- 1 ceph ceph 8, 34 20 июля 11:27 sdc2

brw-rw---- 1 root disk 8, 48 20 июля 08:26 sdd

brw-rw---- 1 root disk 8, 49 20 июля 08:26 sdd1

brw-rw---- 1 ceph ceph 8, 50 20 июля 11:27 sdd2

brw-rw---- 1 root disk 8, 64 20 июля 08:26 sde

brw-rw---- 1 root disk 8, 65 20 июля 08:26 sde1

brw-rw---- 1 ceph ceph 8, 66 20 июля 11:27 sde2

brw-rw---- 1 root disk 8, 80 20 июля 08:26 sdf

brw-rw---- 1 root disk 8, 81 20 июля 08:26 sdf1

brw-rw---- 1 ceph ceph 8, 82 20 июля 11:27 sdf2

brw-rw---- 1 root disk 8, 96 20 июля 08:26 sdg

brw-rw---- 1 root disk 8, 97 20 июля 08:26 sdg1

brw-rw---- 1 ceph ceph 8, 98 20 июля 11:27 sdg2

brw-rw---- 1 root disk 8, 112 20 июля 08:26 sdh

brw-rw---- 1 root disk 8, 113 20 июля 08:26 sdh1

brw-rw---- 1 ceph ceph 8, 114 20 июля 11:27 sdh2

brw-rw---- 1 root disk 8, 128 20 июля 08:26 sdi

brw-rw---- 1 root disk 8, 144 20 июля 08:26 sdj

brw-rw---- 1 root disk 8, 160 20 июля 08:26 sdk

brw-rw---- 1 root disk 8, 176 20 июля 08:26 sdl

brw-rw---- 1 root disk 8, 192 20 июля 08:26 sdm

brw-rw---- 1 root disk 8, 193 20 июля 08:26 sdm1

brw-rw---- 1 root disk 8, 194 20 июля 08:26 sdm2

brw-rw---- 1 root disk 8, 195 20 июля 08:26 sdm3

brw-rw---- 1 root disk 8, 208 20 июля 08:26 sdn или Код: root@int101:/var/lib/ceph/osd# cd ceph-0/
root@int101:/var/lib/ceph/osd/ceph-0# ll
всего 56
-rw-r--r-- 1 root root 402 1 мар 2018 activate.monmap
-rw-r--r-- 1 ceph ceph 3 1 мар 2018 active
lrwxrwxrwx 1 root root 9 20 июля 08:26 block -> /dev/sdb2
-rw-r--r-- 1 ceph ceph 37 1 мар 2018 block_uuid
-rw-r--r-- 1 ceph ceph 2 1 мар 2018 bluefs
-rw-r--r-- 1 ceph ceph 37 1 мар 2018 ceph_fsid
-rw-r--r-- 1 ceph ceph 37 1 мар 2018 fsid
-rw------- 1 ceph ceph 56 1 мар 2018 keyring
-rw-r--r-- 1 ceph ceph 8 1 мар 2018 kv_backend
-rw-r--r-- 1 ceph ceph 21 1 мар 2018 magic
-rw-r--r-- 1 ceph ceph 4 1 мар 2018 mkfs_done
-rw-r--r-- 1 ceph ceph 6 1 мар 2018 ready
-rw------- 1 ceph ceph 3 18 июл 10:29 require_osd_release
-rw-r--r-- 1 ceph ceph 0 21 июл 2019 systemd
-rw-r--r-- 1 ceph ceph 10 1 мар 2018 type
-rw-r--r-- 1 ceph ceph 2 1 мар 2018 whoami Есть идеи, как найти и устранить зацикливание символьных ссылок? С уважением.

Mikepop

Guest

04.08.2021 11:52:00

Да, это так, те, что с новым макетом, принадлежат root:disk, но и старые макеты тоже имеют смешанные права:
```
root@int101:~# ls -l /dev/sde*
brw-rw---- 1 root disk 8, 64 Aug 4 11:17 /dev/sde
brw-rw---- 1 root disk 8, 65 Aug 4 11:17 /dev/sde1
brw-rw---- 1 ceph ceph 8, 66 Aug 4 11:45 /dev/sde2
root@int101:~# ls -l /dev/sdg*
brw-rw---- 1 root disk 8, 96 Aug 4 11:17 /dev/sdg
brw-rw---- 1 root disk 8, 97 Aug 4 11:17 /dev/sdg1
brw-rw---- 1 root disk 8, 98 Aug 4 11:17 /dev/sdg2
root@int101:~# ls -l /dev/sdd*
brw-rw---- 1 root disk 8, 48 Aug 4 11:17 /dev/sdd
brw-rw---- 1 root disk 8, 49 Aug 4 11:17 /dev/sdd1
brw-rw---- 1 ceph ceph 8, 50 Aug 4 11:45 /dev/sdd2
root@int101:~# ls -l /dev/sda*
brw-rw---- 1 root disk 8, 0 Aug 4 11:17 /dev/sda
root@int101:~# ls -l /dev/sdb*
brw-rw---- 1 root disk 8, 16 Aug 4 11:17 /dev/sdb
```
С уважением.

aaron Guest	#3 0 06.08.2021 09:55:00 Хмм, понятно. Каковы права доступа в директории /var/lib/ceph/ost/ceph-<OSD ID>/ в обеих ситуациях?

Mikepop

Guest

06.08.2021 16:39:00

Вот они, в том же порядке: Код: root@int101:~# ll /var/lib/ceph/osd/ceph-22/ всего 56 -rw-r--r-- 1 root root 402 5 Мар 2018 activate.monmap -rw-r--r-- 1 ceph ceph 3 5 Мар 2018 active lrwxrwxrwx 1 root root 9 4 Авг 11:17 block -> /dev/sde2 -rw-r--r-- 1 ceph ceph 37 5 Мар 2018 block_uuid -rw-r--r-- 1 ceph ceph 2 5 Мар 2018 bluefs -rw-r--r-- 1 ceph ceph 37 5 Мар 2018 ceph_fsid -rw-r--r-- 1 ceph ceph 37 5 Мар 2018 fsid -rw------- 1 ceph ceph 57 5 Мар 2018 keyring -rw-r--r-- 1 ceph ceph 8 5 Мар 2018 kv_backend -rw-r--r-- 1 ceph ceph 21 5 Мар 2018 magic -rw-r--r-- 1 ceph ceph 4 5 Мар 2018 mkfs_done -rw-r--r-- 1 ceph ceph 6 5 Мар 2018 ready -rw------- 1 ceph ceph 3 18 Июл 10:29 require_osd_release -rw-r--r-- 1 ceph ceph 0 21 Июл 2019 systemd -rw-r--r-- 1 ceph ceph 10 5 Мар 2018 type -rw-r--r-- 1 ceph ceph 3 5 Мар 2018 whoami root@int101:~# ll /var/lib/ceph/osd/ceph-23/ всего 56 -rw-r--r-- 1 root root 402 5 Мар 2018 activate.monmap -rw-r--r-- 1 ceph ceph 3 5 Мар 2018 active lrwxrwxrwx 1 root root 9 28 Июл 17:29 block -> /dev/sdg2 -rw-r--r-- 1 ceph ceph 37 5 Мар 2018 block_uuid -rw-r--r-- 1 ceph ceph 2 5 Мар 2018 bluefs -rw-r--r-- 1 ceph ceph 37 5 Мар 2018 ceph_fsid -rw-r--r-- 1 ceph ceph 37 5 Мар 2018 fsid -rw------- 1 ceph ceph 57 5 Мар 2018 keyring -rw-r--r-- 1 ceph ceph 8 5 Мар 2018 kv_backend -rw-r--r-- 1 ceph ceph 21 5 Мар 2018 magic -rw-r--r-- 1 ceph ceph 4 5 Мар 2018 mkfs_done -rw-r--r-- 1 ceph ceph 6 5 Мар 2018 ready -rw------- 1 ceph ceph 3 18 Июл 10:29 require_osd_release -rw-r--r-- 1 ceph ceph 0 21 Июл 2019 systemd -rw-r--r-- 1 ceph ceph 10 5 Мар 2018 type -rw-r--r-- 1 ceph ceph 3 5 Мар 2018 whoami root@int101:~# ll /var/lib/ceph/osd/ceph-10/ всего 56 -rw-r--r-- 1 root root 402 1 Мар 2018 activate.monmap -rw-r--r-- 1 ceph ceph 3 1 Мар 2018 active lrwxrwxrwx 1 root root 9 4 Авг 11:17 block -> /dev/sdd2 -rw-r--r-- 1 ceph ceph 37 1 Мар 2018 block_uuid -rw-r--r-- 1 ceph ceph 2 1 Мар 2018 bluefs -rw-r--r-- 1 ceph ceph 37 1 Мар 2018 ceph_fsid -rw-r--r-- 1 ceph ceph 37 1 Мар 2018 fsid -rw------- 1 ceph ceph 57 1 Мар 2018 keyring -rw-r--r-- 1 ceph ceph 8 1 Мар 2018 kv_backend -rw-r--r-- 1 ceph ceph 21 1 Мар 2018 magic -rw-r--r-- 1 ceph ceph 4 1 Мар 2018 mkfs_done -rw-r--r-- 1 ceph ceph 6 1 Мар 2018 ready -rw------- 1 ceph ceph 3 18 Июл 10:29 require_osd_release -rw-r--r-- 1 ceph ceph 0 21 Июл 2019 systemd -rw-r--r-- 1 ceph ceph 10 1 Мар 2018 type -rw-r--r-- 1 ceph ceph 3 1 Мар 2018 whoami root@int101:~# ll /var/lib/ceph/osd/ceph-47/ всего 28 lrwxrwxrwx 1 ceph ceph 93 4 Авг 11:17 block -> /dev/ceph-abbce406-397b-4f5b-b23f-f7ced4f9ca6f/osd-block-2effd9b2-37b0-4dc3-8bf6-e5e23a306f55 -rw------- 1 ceph ceph 37 4 Авг 11:17 ceph_fsid -rw------- 1 ceph ceph 37 4 Авг 11:17 fsid -rw------- 1 ceph ceph 56 4 Авг 11:17 keyring -rw------- 1 ceph ceph 6 4 Авг 11:17 ready -rw------- 1 ceph ceph 3 4 Авг 11:17 require_osd_release -rw------- 1 ceph ceph 10 4 Авг 11:17 type -rw------- 1 ceph ceph 3 4 Авг 11:17 whoami root@int101:~# ll /var/lib/ceph/osd/ceph-0/ всего 28 lrwxrwxrwx 1 ceph ceph 93 4 Авг 11:17 block -> /dev/ceph-5e966819-6026-40a8-8b9b-398c5c7abd6d/osd-block-85ef2815-1995-4a1b-b8a5-70fdcd3804aa -rw------- 1 ceph ceph 37 4 Авг 11:17 ceph_fsid -rw------- 1 ceph ceph 37 4 Авг 11:17 fsid -rw------- 1 ceph ceph 55 4 Авг 11:17 keyring -rw------- 1 ceph ceph 6 4 Авг 11:17 ready -rw------- 1 ceph ceph 3 4 Авг 11:18 require_osd_release -rw------- 1 ceph ceph 10 4 Авг 11:17 type -rw------- 1 ceph ceph 2 4 Авг 11:17 whoami С уважением

aaron

Guest

09.08.2021 16:27:00

Хмм, мы можем попробовать дождаться новой версии Ceph, чтобы узнать, решит ли это проблему, или углубиться в её изучение самостоятельно. В качестве альтернативы, можно переустановить OSD один за другим, чтобы они использовали самый новый формат на диске. Если ты решил переустановить OSD и хочешь избежать полного восстановления/ребалансировки каждый раз, сначала включи флаги OSD "norecover" и "norebalance". Затем останови OSD и установи статус OUT. Как только он остановлен и имеет статус OUT, можешь его удалить (убедись, что галочка "Очистить диск" активирована). После этого переустанови OSD, и когда он снова будет в статусе UP и IN, отключи ранее установленные флаги OSD, чтобы Ceph мог восстановить данные на этом OSD. Когда кластер снова станет здоровым, ты можешь попробовать перезагрузить этот узел и посмотреть, сохраняется ли проблема.

Mikepop

Guest

11.08.2021 07:59:00

Спасибо, Ааром, я их воссоздаю, но это занимает около 2 или 3 часов каждый и не может значительно снизить производительность сервиса. Похоже, что никто другой не находится в такой же ситуации, так что, возможно, не стоит углубляться в это. Я сообщу тебе, если проблема сохранится после обновления OSD. С уважением.

silvered.dragon Guest	#7 0 29.09.2021 12:02:00 Привет, @Mikepop, воспроизведение всех OSD решило проблему? Проблема при перезагрузке была похожа на эту https://forum.proxmox.com/threads/p...ecomes-unstable-after-rebooting-a-node.96799/? Большое спасибо!

Mikepop Guest	#8 0 29.09.2021 17:01:00 Привет, @silvered.dragon Действительно, восстановление неудачных OSD решило мои проблемы с тем, что OSD были отключены после перезагрузок. С уважением.

aaron

Guest

03.08.2021 14:25:00

Если позже вы сможете запустить OSD, будет ли вторая раздела по-прежнему принадлежать ceph, как здесь? Код: root@int101:~# ls -l /dev/sde* brw-rw---- 1 root disk 8, 64 1 авг 07:54 /dev/sde brw-rw---- 1 root disk 8, 65 1 авг 07:54 /dev/sde1 brw-rw---- 1 ceph ceph 8, 66 2 авг 23:51 /dev/sde2

aaron Guest	#10 0 03.08.2021 14:26:00 Если вы воссоздадите OSD, они будут созданы с последней версией bluestore, которая хранит все в одном большом LVM. Чуть более старые версии имеют 2 раздела. Один для хранения метаданных и один для хранения собственно данных.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры