+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Proxmox 7.3.3 / Ceph 17.2.5 – OSD-шники падают при перезагрузке., Proxmox Виртуальная Среда

fstrankowski

Guest

31.01.2023 07:16:00

Вчерашнее обновление вызвало некоторые проблемы. После обновления OSDs стали выходить из строя.

При обновлении системы после перезапуска OSDs начали выходить из строя и не смогли правильно завершить работу. Это привело к сбою OSDs и, в конечном счете, к их остановке. В логах можно заметить, что это, вероятно, связано с тайм-аутом `osd_fast_shutdown_timeout` в процессе завершения работы. Также появились сообщения об ошибках при завершении работы OSD и отлове сигнала `Aborted`.

К сожалению, для более детального анализа требуется полный лог. В противном случае, для диагностики проблемы потребуется больше информации.

Waschbüsch

Guest

12.03.2023 08:25:00

Мы уже видели нечто подобное. После перезагрузки один (или несколько) OSD может (или не может) аварийно завершиться подобным образом. Пока что кажется, что это происходит случайным образом. Похожая проблема в Ceph зафиксирована здесь: https://tracker.ceph.com/issues/56292, но активности по ней пока немного (если вообще есть).

Код: ceph crash info 2023-03-10T23:22:29.784388Z_f90e9155-1bf1-4398-b5a1-0cf591322072
{
"assert_condition": "end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout",
"assert_file": "./src/osd/OSD.cc",
"assert_func": "int OSD::shutdown()",
"assert_line": 4340,
"assert_msg": "./src/osd/OSD.cc: In function 'int OSD::shutdown()' thread 7f8f317eb700 time 2023-03-10T23:22:29.778913+0000\n./src/osd/OSD.cc: 4340: FAILED ceph_assert(end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout)\n",
"assert_thread_name": "signal_handler",
"backtrace": [
"/lib/x86_64-linux-gnu/libpthread.so.0(+0x13140) [0x7f8f3599e140]",
"gsignal()",
"abort()",
"(ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x17e) [0x564348ab6fca]",
"/usr/bin/ceph-osd(+0xc2310e) [0x564348ab710e]",
"(OSD::shutdown()+0x135d) [0x564348bac87d]",
"(SignalHandler::entry()+0x648) [0x564349232408]",
"/lib/x86_64-linux-gnu/libpthread.so.0(+0x7ea7) [0x7f8f35992ea7]",
"clone()"
],
"ceph_version": "17.2.5",
"crash_id": "2023-03-10T23:22:29.784388Z_f90e9155-1bf1-4398-b5a1-0cf591322072",
"entity_name": "osd.8",
"os_id": "11",
"os_name": "Debian GNU/Linux 11 (bullseye)",
"os_version": "11 (bullseye)",
"os_version_id": "11",
"process_name": "ceph-osd",
"stack_sig": "dfb0b495bd77f684152c94fe9f9975ec7154f5d2df8322bcc4bd0150fe974c6a",
"timestamp": "2023-03-10T23:22:29.784388Z",
"utsname_hostname": "srv04",
"utsname_machine": "x86_64",
"utsname_release": "6.1.10-1-pve",
"utsname_sysname": "Linux",
"utsname_version": "#1 SMP PREEMPT_DYNAMIC PVE 6.1.10-1 (2023-02-07T00:00Z)"
}

fstrankowski Guest	#3 0 13.03.2023 09:04:00 Ну, хоть теперь можем сказать, что наша проблема не зависит от версии ядра. Ты используешь 6.1, а у нас 5.15. Одна и та же проблема на обеих системах.

bmernz

Guest

15.06.2024 00:06:00

Похоже, проблема всё ещё актуальна: https://tracker.ceph.com/issues/61140. Исправлено в Quincy, но не в Reef:

```json
{
"crash_id": "2024-06-13T03:57:51.133227Z_c7aa71e2-b15b-4ca3-b2e5-559f158ac200",
"timestamp": "2024-06-13T03:57:51.133227Z",
"process_name": "ceph-osd",
"entity_name": "osd.11",
"ceph_version": "18.2.2",
"utsname_hostname": "*********",
"utsname_sysname": "Linux",
"utsname_release": "6.8.4-3-pve",
"utsname_version": "#1 SMP PREEMPT_DYNAMIC PMX 6.8.4-3 (2024-05-02T11:55Z)",
"utsname_machine": "x86_64",
"os_name": "Debian GNU/Linux 12 (bookworm)",
"os_id": "12",
"os_version_id": "12",
"os_version": "12 (bookworm)",
"assert_condition": "end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout",
"assert_func": "int OSD::shutdown()",
"assert_file": "./src/osd/OSD.cc",
"assert_line": 4495,
"assert_thread_name": "signal_handler",
"assert_msg": "./src/osd/OSD.cc: В функции 'int OSD::shutdown()' поток 7325c10006c0 время 2024-06-13T15:57:51.122306+1200\n./src/osd/OSD.cc: 4495: ОШИБКА ceph_assert(end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout)\n",
"backtrace": [
"/lib/x86_64-linux-gnu/libc.so.6(+0x3c050) [0x7325c585b050]",
"/lib/x86_64-linux-gnu/libc.so.6(+0x8ae2c) [0x7325c58a9e2c]",
"gsignal()",
"abort()",
"(ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x185) [0x55ad7cb7914c]",
"/usr/bin/ceph-osd(+0x62628c) [0x55ad7cb7928c]",
"(OSD::shutdown()+0x11fc) [0x55ad7ccbb4bc]",
"(SignalHandler::entry()+0x58b) [0x55ad7d2c1f8b]",
"/lib/x86_64-linux-gnu/libc.so.6(+0x89134) [0x7325c58a8134]",
"/lib/x86_64-linux-gnu/libc.so.6(+0x1097dc) [0x7325c59287dc]"
]
}
```

yusufhadiwinata

Guest

03.07.2024 12:15:00

Тоже столкнулся с той же проблемой: Код: ceph crash info xxx
{
"archived": "2024-06-19 20:28:57.674880",
"assert_condition": "end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout",
"assert_file": "./src/osd/OSD.cc",
"assert_func": "int OSD::shutdown()",
"assert_line": 4476,
"assert_msg": "./src/osd/OSD.cc: In function 'int OSD::shutdown()' thread 7f3978d50700 time 2024-06-20T02:50:44.786347+0700\n./src/osd/OSD.cc: 4476: FAILED ceph_assert(end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout)\n",
"assert_thread_name": "signal_handler",
"backtrace": [
"/lib/x86_64-linux-gnu/libpthread.so.0(+0x13140) [0x7f397cc0c140]",
"gsignal()",
"abort()",
"(ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x17e) [0x5643ba842eb8]",
"/usr/bin/ceph-osd(+0x584ffc) [0x5643ba842ffc]",
"(OSD::shutdown()+0x16f9) [0x5643ba97db59]",
"(SignalHandler::entry()+0x648) [0x5643bafd3568]",
"/lib/x86_64-linux-gnu/libpthread.so.0(+0x7ea7) [0x7f397cc00ea7]",
"clone()"
],
"ceph_version": "17.2.7",
"crash_id": "2024-06-19T19:xxx",
"entity_name": "osd.0",
"os_id": "12",
"os_name": "Debian GNU/Linux 12 (bookworm)",
"os_version": "12 (bookworm)",
"os_version_id": "12",
"process_name": "ceph-osd",
"stack_sig": "dfb0b495bd77f684152c94fe9f9975ec7154f5d2df8322bcc4bd0150fe974c6a",
"timestamp": "2024-06-19T19:50:44.794180Z",
"utsname_hostname": "xxx",
"utsname_machine": "x86_64",
"utsname_release": "5.15.102-1-pve",
"utsname_sysname": "Linux",
"utsname_version": "#1 SMP PVE 5.15.102-1 (2023-03-14T13:48Z)"
}

Mihai

Guest

06.11.2024 21:47:00

У меня это происходит довольно регулярно. Cephx у меня отключён. Код: {
"assert_condition": "end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout",
"assert_file": "./src/osd/OSD.cc",
"assert_func": "int OSD::shutdown()",
"assert_line": 4495,
"assert_msg": "./src/osd/OSD.cc: В функции 'int OSD::shutdown()' поток 7a8af48006c0 время 2024-11-06T13:35:18.209403-0600\n./src/osd/OSD.cc: 4495: FAILED ceph_assert(end_time - start_time_func < cct->_conf->osd_fast_shutdown_timeout)\n",
"assert_thread_name": "signal_handler",
"backtrace": [
"/lib/x86_64-linux-gnu/libc.so.6(+0x3c050) [0x7a8af9162050]",
"/lib/x86_64-linux-gnu/libc.so.6(+0x8ae3c) [0x7a8af91b0e3c]",
"gsignal()",
"abort()",
"(ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x185) [0x5a9ad99c814c]",
"/usr/bin/ceph-osd(+0x62628c) [0x5a9ad99c828c]",
"(OSD::shutdown()+0x11fc) [0x5a9ad9b0a4bc]",
"(SignalHandler::entry()+0x58b) [0x5a9ada110f8b]",
"/lib/x86_64-linux-gnu/libc.so.6(+0x89144) [0x7a8af91af144]",
"/lib/x86_64-linux-gnu/libc.so.6(+0x1097dc) [0x7a8af922f7dc]"
],
"ceph_version": "18.2.2",
"crash_id": "2024-11-06T19:35:18.214728Z_dc6e0793-6348-4f9d-a553-ea4271d24db4",
"entity_name": "osd.2",
"os_id": "12",
"os_name": "Debian GNU/Linux 12 (bookworm)",
"os_version": "12 (bookworm)",
"os_version_id": "12",
"process_name": "ceph-osd",
"stack_sig": "857164b17329df891837fb5249e13423209e99887f097de9c6f9445bc2f14fe0",
"timestamp": "2024-11-06T19:35:18.214728Z",
"utsname_hostname": "myhostname",
"utsname_machine": "x86_64",
"utsname_release": "6.8.12-2-pve",
"utsname_sysname": "Linux",
"utsname_version": "#1 SMP PREEMPT_DYNAMIC PMX 6.8.12-2 (2024-09-05T10:03Z)"
}

yusufhadiwinata Guest	#7 0 07.11.2024 03:22:00 Попробуй обновиться до Quincy, у меня работает.

fstrankowski Guest	#8 0 07.11.2024 06:41:00 Если бы ты заглянул в исходную тему, ты бы заметил, что я столкнулся с этой ошибкой с Quincy. Сейчас мы работаем с Reef, и там то же самое происходит. К тому же, твой первоначальный ответ в этой теме показывает, что ты тоже использовал Quincy.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры