+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Kernel Oops с kworker, вызывающим tainted., Proxmox Виртуальная Среда

TheGrandWazoo

Guest

10.01.2020 04:37:00

С тех пор, как обновился с 6.0 до 6.1, на двух разных хостах возникала похожая ошибка. Всегда виновником был процесс kworker. На первой системе со временем всё зависло и восстановить её не удалось. Пытался безопасно перезагрузить хост, но в итоге пришлось делать аппаратный сброс питания. Сейчас второй хост отвечает, но графический интерфейс не реагирует ни напрямую, ни через кластер с другого хоста. Планирую перезагрузить, чтобы обновить состояние машины.

[1406350.728555] BUG: kernel NULL pointer dereference, address: 0000000000000014
[1406350.728598] #PF: supervisor read access in kernel mode
[1406350.728624] #PF: error_code(0x0000) - not-present page
[1406350.728638] PGD 0 P4D 0
[1406350.728647] Oops: 0000 [#1] SMP PTI
[1406350.728659] CPU: 1 PID: 1426 Comm: kworker/1:2 Tainted: P W O 5.3.13-1-pve #1
[1406350.728679] Hardware name: Supermicro X8DTH-i/6/iF/6F/X8DTH, BIOS 2.1b 05/04/12
[1406350.728702] Workqueue: events key_garbage_collector
[1406350.728717] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[1406350.728731] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
[1406350.728772] RSP: 0018:ffffa892966e7db8 EFLAGS: 00010246
[1406350.728786] RAX: 0000000000000000 RBX: ffff8e173b769980 RCX: ffffa892966e7e20
[1406350.728804] RDX: 0000000000000000 RSI: ffffa892966e7e20 RDI: ffff8e174ade9a00
[1406350.728821] RBP: ffffa892966e7db8 R08: 0000000000000000 R09: 000073746e657665
[1406350.728838] R10: 8080808080808080 R11: ffff8e0b4f8694c4 R12: ffff8e173b769a10
[1406350.728855] R13: ffffffff93227dd0 R14: ffff8e174fdfdb00 R15: ffff8e173b7699f8
[1406350.728872] FS: 0000000000000000(0000) GS:ffff8e0b4f840000(0000) knlGS:0000000000000000
[1406350.728891] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[1406350.728906] CR2: 0000000000000014 CR3: 000000040a80a003 CR4: 00000000000226e0
[1406350.728923] Call Trace:
[1406350.728935] assoc_array_subtree_iterate+0x5c/0x100
[1406350.728948] assoc_array_iterate+0x19/0x20
[1406350.728961] keyring_gc+0x43/0x80
[1406350.728971] key_garbage_collector+0x35a/0x400
[1406350.728985] process_one_work+0x20f/0x3d0
[1406350.728997] worker_thread+0x34/0x400
[1406350.729009] kthread+0x120/0x140
[1406350.729019] ? process_one_work+0x3d0/0x3d0
[1406350.729031] ? __kthread_parkme+0x70/0x70
[1406350.729045] ret_from_fork+0x35/0x40
[1406350.729056] Modules linked in: rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp iptable_filter b pfilter ipmi_watchdog bonding nfnetlink_log nfnetlink intel_powerclamp coretemp ipmi_ssif kvm_intel kvm irqbypass crct10dif_pclmul crc32_pclmul ghash_clmulni_intel aesni_intel aes_x86_64 crypto_simd cryptd glue_helper mgag200 drm_vram_helper intel_cstate ttm serio_raw pcspkr drm_kms_helper drm joydev input_leds fb_sys_fops syscopyarea sysfillrect sysimgblt ioatdma i5500_temp i7core_edac ipmi_s i ipmi_devintf mac_hid ipmi_msghandler vhost_net vhost tap ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi sunrpc scsi_transport_iscsi ip_tables x_tables autofs4 zfs(PO) zunicode (PO) zlua(PO) zavl(PO) icp(PO) zcommon(PO) znvpair(PO) spl(O) btrfs xor zstd_compress raid6_pq libcrc32c hid_generic usbkbd usbmouse usbhid hid uas usb_storage gpio_ich mpt3sas ahci raid_class igb p smouse i2c_algo_bit
[1406350.729089] scsi_transport_sas i2c_i801 libahci lpc_ich dca
[1406350.729285] CR2: 0000000000000014
[1406350.729295] ---[ end trace 170167807202c727 ]---
[1406350.729309] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[1406350.729323] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
[1406350.729365] RSP: 0018:ffffa892966e7db8 EFLAGS: 00010246
[1406350.729378] RAX: 0000000000000000 RBX: ffff8e173b769980 RCX: ffffa892966e7e20
[1406350.729395] RDX: 0000000000000000 RSI: ffffa892966e7e20 RDI: ffff8e174ade9a00
[1406350.729412] RBP: ffffa892966e7db8 R08: 0000000000000000 R09: 000073746e657665
[1406350.730258] R10: 8080808080808080 R11: ffff8e0b4f8694c4 R12: ffff8e173b769a10
[1406350.731095] R13: ffffffff93227dd0 R14: ffff8e174fdfdb00 R15: ffff8e173b7699f8
[1406350.731919] FS: 0000000000000000(0000) GS:ffff8e0b4f840000(0000) knlGS:0000000000000000
[1406350.732748] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[1406350.733569] CR2: 0000000000000014 CR3: 000000040a80a003 CR4: 00000000000226e0

Сейчас сделал «reboot» через ssh, потому что консоль не пускала меня войти. Пока кажется, что система начинает выключаться, но уже более 10 минут моргает сообщение: «Stop job for PVE quest» и появляется сообщение от D-Bus. Буду надеяться, что это кому-то поможет. Спасибо.

zeha

Guest

26.01.2020 19:30:00

Только хочу добавить: мы тоже сталкиваемся с этим. Но при этом видим «зависшие» процессы `corosync-quorum`, вот так:
Code:
root 48408 0.0 0.0 0 0 ? D Jan25 0:00 [corosync-quorum]
root 48454 0.0 0.0 0 0 ? D 04:25 0:00 [corosync-quorum]
root 48559 0.0 0.0 0 0 ? D 12:22 0:00 [corosync-quorum]
root 48570 0.0 0.0 0 0 ? D Jan25 0:00 [corosync-quorum]
root 48578 0.0 0.0 0 0 ? D Jan25 0:00 [corosync-quorum]
root 48609 0.0 0.0 0 0 ? D 14:23 0:00 [corosync-quorum]
root 48650 0.0 0.0 0 0 ? D Jan25 0:00 [corosync-quorum]
root 48673 0.0 0.0 0 0 ? D 18:27 0:00 [corosync-quorum]
root 48682 0.0 0.0 0 0 ? D 00:24 0:00 [corosync-quorum]
root 48709 0.0 0.0 0 0 ? D 10:23 0:00 [corosync-quorum]

Похоже, это процессы corosync-quorumtool, которые либо не запустились, либо некорректно завершились.

dmesg:
Code:
[1304379.837825] BUG: kernel NULL pointer dereference, address: 0000000000000014
[1304379.837853] #PF: supervisor read access in kernel mode
[1304379.837866] #PF: error_code(0x0000) - not-present page
[1304379.837878] PGD 0 P4D 0
[1304379.837888] Oops: 0000 [#1] SMP PTI
[1304379.837899] CPU: 34 PID: 26203 Comm: kworker/34:3 Tainted: P O 5.3.13-1-pve #1
[1304379.837918] Hardware name: HPE ProLiant DL380 Gen10/ProLiant DL380 Gen10, BIOS U30 04/18/2019
[1304379.837943] Workqueue: events key_garbage_collector
[1304379.837957] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[1304379.837970] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 55
[1304379.838018] RSP: 0018:ffffb82996a03db8 EFLAGS: 00010246
[1304379.838030] RAX: 0000000000000000 RBX: ffff9a7a21a43380 RCX: ffffb82996a03e20
[1304379.838045] RDX: 0000000000000000 RSI: ffffb82996a03e20 RDI: ffff9a923b4e6b00
[1304379.838060] RBP: ffffb82996a03db8 R08: 0000000000000010 R09: 0000000000000000
[1304379.838074] R10: 000000000000000f R11: 00000000fffffff0 R12: ffff9a7a21a43410
[1304379.838850] R13: ffffffffbc027dd0 R14: ffff9afbbbffeb00 R15: ffff9a7a21a43408
[1304379.839593] FS: 0000000000000000(0000) GS:ffff9a7a5ff80000(0000) knlGS:0000000000000000
[1304379.840311] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[1304379.841000] CR2: 0000000000000014 CR3: 0000001e3ac0a006 CR4: 00000000007626e0
[1304379.841706] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[1304379.842399] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[1304379.843126] PKRU: 55555554
[1304379.843829] Call Trace:
[1304379.844535] assoc_array_subtree_iterate+0x5c/0x100
[1304379.845237] assoc_array_iterate+0x19/0x20
[1304379.845932] keyring_gc+0x43/0x80
[1304379.846610] key_garbage_collector+0x35a/0x400
[1304379.847278] process_one_work+0x20f/0x3d0
[1304379.847928] worker_thread+0x34/0x400
[1304379.848563] kthread+0x120/0x140
[1304379.849181] ? process_one_work+0x3d0/0x3d0
[1304379.849788] ? __kthread_parkme+0x70/0x70
[1304379.850381] ret_from_fork+0x35/0x40
[1304379.850955] Modules linked in: rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache binfmt_misc ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp dm_service_time iptable_filter bpfilter openvswitch nsh nf_conncount nf_nat softdog nfnetlink_log nfnetlink intel_rapl_msr intel_rapl_common isst_if_common nfit x86_pkg_temp_thermal intel_powerclamp coretemp kvm_intel kvm irqbypass crct10dif_pclmul crc32_pclmul ghash_clmulni_intel zfs(PO) aesni_intel aes_x86_64 zunicode(PO) zlua(PO) crypto_simd cryptd glue_helper zavl(PO) intel_cstate icp(PO) ipmi_ssif mgag200 drm_vram_helper ttm drm_kms_helper drm i2c_algo_bit fb_sys_fops syscopyarea sysfillrect sysimgblt ioatdma mei_me hpilo mei intel_rapl_perf dca ipmi_si acpi_power_meter ipmi_devintf ipmi_msghandler acpi_tad mac_hid zcommon(PO) znvpair(PO) spl(O) vhost_net vhost tap ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi scsi_transport_iscsi sunrpc ip_vs nf_conntrack nf_defrag_ipv6
[1304379.850987] nf_defrag_ipv4 ip_tables x_tables autofs4 btrfs xor zstd_compress raid6_pq dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio dm_multipath scsi_dh_rdac scsi_dh_emc scsi_dh_alua ses enclosure bnx2x smartpqi mdio scsi_transport_sas libcrc32c uas bnxt_en usb_storage lpc_ich tg3 wmi
[1304379.857397] CR2: 0000000000000014
[1304379.857963] ---[ end trace a674b2ef35aa61b3 ]---
[1304379.991496] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[1304379.992138] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 55
[1304379.993272] RSP: 0018:ffffb82996a03db8 EFLAGS: 00010246
[1304379.993844] RAX: 0000000000000000 RBX: ffff9a7a21a43380 RCX: ffffb82996a03e20
[1304379.994424] RDX: 0000000000000000 RSI: ffffb82996a03e20 RDI: ffff9a923b4e6b00
[1304379.994999] RBP: ffffb82996a03db8 R08: 0000000000000010 R09: 0000000000000000
[1304379.995580] R10: 000000000000000f R11: 00000000fffffff0 R12: ffff9a7a21a43410
[1304379.996147] R13: ffffffffbc027dd0 R14: ffff9afbbbffeb00 R15: ffff9a7a21a43408
[1304379.996716] FS: 0000000000000000(0000) GS:ffff9a7a5ff80000(0000) knlGS:0000000000000000
[1304379.997280] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[1304379.997833] CR2: 0000000000000014 CR3: 0000001e3ac0a006 CR4: 00000000007626e0
[1304379.998384] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[1304379.998930] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[1304379.999479] PKRU: 55555554

harrijs Guest	#3 0 04.02.2020 18:37:00 Хочу обновить эту тему и сказать, что проблема всё ещё наблюдается в Kernel 5.3.13-2. На конкретном хосте, где запущен lxc, мы загрузили Kernel 4.15.18-24, и теперь всё работает как нужно.

James Crook Guest	#4 0 05.02.2020 14:15:00 Это было с использованием NFS v4?

pizza

Guest

11.02.2020 00:59:00

У меня такая же проблема с HP G7, ядро 5.3.13-3 тоже выдает ошибку kernel oops. IOwait на NFS растет, помогает только перезагрузка узла. В Proxmox я поставил NFS v3, если в Proxmox хранилище переключить с NFS4 на NFS3, нужна перезагрузка, иначе mount -v всё равно показывает v4. Вот немецкая тема: https://forum.proxmox.com/threads/hohe-load-kernel-oops-reboot-unmöglich.63071/#post-292282

Oliver Polterauer

Guest

12.02.2020 14:59:00

На самом деле перезагрузка не нужна, если вы можете освободить узел и перенести ресурсы в другое место (например, на другой хост или смонтированные ISO-файлы). Мы тоже перешли на версию V3, потому что не раз сталкивались с этой ошибкой.

pizza Guest	#7 0 12.02.2020 19:46:00 Отмонтирования nfs4-шаров действительно достаточно, Proxmox после этого автоматически перемонтирует nfs-шары с использованием версии 3.

harrijs Guest	#8 0 16.02.2020 00:34:00 Я немного покопался в этом вопросе, так как мои PVE-хосты уже монтировали NFS-шару в версии 3. На проблемной машине у меня был контейнер, который монтировал шару через NFS v4. Я изменил этот монт на v3, обновил до последнего ядра 5.3.18-1, и теперь всё работает отлично уже 24 часа подряд. Будет интересно отслеживать эту проблему и посмотреть, когда v4 снова станет стабильным.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры