+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

LXC перезапуск вызывает нагрузку на процессор kworker 100%, Proxmox Виртуальная Среда

Jean-Pierre

Guest

29.01.2018 12:34:00

Привет. У нас есть постоянная проблема: при перезагрузке LXC контейнеров процесс kworker в конечном итоге блокирует систему, и нам приходится делать жесткую перезагрузку сервера. Вот строка из `top` для процесс, который запускается: 31043 root 20 0 0 0 0 R 100.0 0.0 94:20.90 kworker/u24:3. Спецификации этого сервера, который является выделенным: Supermicro 1018R-WC0R с материнской платой X10SRW-F и процессором E5-1650 v4. Загрузка с 2x SSD на внутреннем RAID1, а хранилище — это внутренний RAID10 массив из 6 SSD по 1 ТБ, всё программное/mdadm RAID. Для резервного копирования изображений подключено хранилище NFS. Сервер был полностью обновлён и перезагружен около 9 дней назад. Он был первоначально установлен с Proxmox 5.1 в ноябре 2017 года. Я вижу, что доступно другое ядро, однако перезагрузка этого рабочего сервера не такая простая задача. pveversion -v proxmox-ve: 5.1-35 (используемое ядро: 4.13.13-4-pve) pve-manager: 5.1-42 (используемая версия: 5.1-42/724a6cb3) pve-kernel-4.13.4-1-pve: 4.13.4-26 pve-kernel-4.13.13-4-pve: 4.13.13-35 pve-kernel-4.13.13-1-pve: 4.13.13-31 libpve-http-server-perl: 2.0-8 lvm2: 2.02.168-pve6 corosync: 2.4.2-pve3 libqb0: 1.0.1-1 pve-cluster: 5.0-19 qemu-server: 5.0-19 pve-firmware: 2.0-3 libpve-common-perl: 5.0-25 libpve-guest-common-perl: 2.0-14 libpve-access-control: 5.0-7 libpve-storage-perl: 5.0-17 pve-libspice-server1: 0.12.8-3 vncterm: 1.5-3 pve-docs: 5.1-16 pve-qemu-kvm: 2.9.1-5 pve-container: 2.0-18 pve-firewall: 3.0-5 pve-ha-manager: 2.0-4 ksm-control-daemon: 1.2-2 glusterfs-client: 3.8.8-1 lxc-pve: 2.1.1-2 lxcfs: 2.0.8-1 criu: 2.11.1-1~bpo90 novnc-pve: 0.6-4 smartmontools: 6.5+svn4324-1 zfsutils-linux: 0.7.3-pve1~bpo9 Мы заметили эту проблему около 12 декабря 2017 года и подтвердили, что это происходит 99,9% случаев при перезапуске/перезагрузке любого LXC контейнера. Процесс kworker появляется (при 100% загрузке CPU) и постепенно, через несколько часов, начинает нагружать сервер до почти полной остановки. Я не могу завершить этот процесс или даже заставить сервер перезагрузиться/остановиться корректно, требуется жесткая перезагрузки. Это касается любого LXC контейнера на сервере, даже совершенно нового. Я заметил, что 9 дней назад после последнего обновления и перезагрузки я сразу мог перезапускать LXC контейнеры, однако через 10 часов после этого следующий перезапуск контейнера вызвал ту же самую проблему. Нижеупомянутые посты могут говорить о той же самой проблеме, но, похоже, они совсем не решаются, https://forum.proxmox.com/threads/proxmox-ve-5-1-released.37650/page-3#post-187137 https://forum.proxmox.com/threads/kworker-100-cpu.37795/ Я также должен упомянуть, что у нас есть несколько серверов с аналогичным оборудованием, работающих на Proxmox 4.4, и у них нет этой проблемы. Кстати, у меня есть предчувствие, что это может быть связано с ACPI и подобными вещами, и что LXC, возможно, каким-то образом вызывает старую ошибку kworker. bugs.launchpad.net/ubuntu/+source/linux/+bug/887793 Буду признателен за любую помощь.

Vasu Sreekumar

Guest

10.03.2018 10:03:00

Я тоже столкнулся с такой же проблемой после обновления до 5.1. Жду обновления. kworker/u48:1 на 100% top - 23:02:35, работаю 3 дня, 23:57, 1 пользователь, средняя нагрузка: 69.34, 64.66, 63.87. Задач: 720 всего, 17 выполняется, 703 в спящем режиме, 0 остановлено, 0 зомби. %Cpu(s): 1.4 us, 62.9 sy, 0.0 ni, 26.5 id, 9.0 wa, 0.0 hi, 0.2 si, 0.0 st. KiB Mem : 49443632 всего, 11305480 свободно, 36524072 использовано, 1614080 буфер/кэш. KiB Swap: 8388604 всего, 8388604 свободно, 0 использовано. 12136912 доступно Mem. PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 32333 root 20 0 0 0 0 R 100.0 0.0 102:07.86 kworker/u48:1 405 root 20 0 0 0 0 R 99.7 0.0 3988:29 arc_reclaim 8728 root 20 0 0 0 0 R 55.9 0.0 2:24.85 arc_prune 8901 root 20 0 0 0 0 S 55.6 0.0 2:23.63 arc_prune 1593 root 20 0 0 0 0 S 54.9 0.0 4:01.49 arc_prune 17397 root 20 0 0 0 0 S 54.9 0.0 0:06.30 arc_prune 4254 root 20 0 0 0 0 R 54.6 0.0 3:14.35 arc_prune

Harrdy

Guest

10.03.2018 22:00:00

Вы не одиноки. У меня такая же проблема после обновления с 4.x до 5.x на одном из моих хостов. Процесс kworker время от времени появляется. Проблема возникает примерно каждые две недели, не зависимо от того, начинаю или останавливаю ли я какие-либо lxc или делаю что-либо на хост-системе. После перезагрузки через IPMI система продолжает работать без проблем, пока процесс kworker не появится снова. Код: root@node003:~# pveversion -v proxmox-ve: 5.1-41 (работающий ядро: 4.13.13-6-pve) pve-manager: 5.1-46 (работающая версия: 5.1-46/ae8241d4) pve-kernel-4.13.13-6-pve: 4.13.13-41 pve-kernel-4.13.13-5-pve: 4.13.13-38 pve-kernel-4.13.13-4-pve: 4.13.13-35 pve-kernel-4.13.13-3-pve: 4.13.13-34 pve-kernel-4.13.13-2-pve: 4.13.13-33 pve-kernel-4.13.13-1-pve: 4.13.13-31 pve-kernel-4.13.8-3-pve: 4.13.8-30 pve-kernel-4.13.8-1-pve: 4.13.8-27 pve-kernel-4.13.4-1-pve: 4.13.4-26 pve-kernel-4.4.83-1-pve: 4.4.83-96 pve-kernel-4.4.79-1-pve: 4.4.79-95 pve-kernel-4.4.76-1-pve: 4.4.76-94 pve-kernel-4.4.67-1-pve: 4.4.67-92 pve-kernel-4.4.62-1-pve: 4.4.62-88 pve-kernel-4.4.59-1-pve: 4.4.59-87 pve-kernel-4.4.49-1-pve: 4.4.49-86 corosync: 2.4.2-pve3 criu: 2.11.1-1~bpo90 glusterfs-client: 3.8.8-1 ksm-control-daemon: 1.2-2 libjs-extjs: 6.0.1-2 libpve-access-control: 5.0-8 libpve-common-perl: 5.0-28 libpve-guest-common-perl: 2.0-14 libpve-http-server-perl: 2.0-8 libpve-storage-perl: 5.0-17 libqb0: 1.0.1-1 lvm2: 2.02.168-pve6 lxc-pve: 2.1.1-3 lxcfs: 2.0.8-2 novnc-pve: 0.6-4 proxmox-widget-toolkit: 1.0-11 pve-cluster: 5.0-20 pve-container: 2.0-19 pve-docs: 5.1-16 pve-firewall: 3.0-5 pve-firmware: 2.0-3 pve-ha-manager: 2.0-5 pve-i18n: 1.0-4 pve-libspice-server1: 0.12.8-3 pve-qemu-kvm: 2.9.1-9 pve-xtermjs: 1.0-2 qemu-server: 5.0-22 smartmontools: 6.5+svn4324-1 spiceterm: 3.0-5 vncterm: 1.5-3 zfsutils-linux: 0.7.6-pve1~bpo9

Harrdy

Guest

28.03.2018 06:58:00

Я прочитал это в другой теме. И я тоже попробовал. Пока что все выглядит очень хорошо. Также через 10 дней ни один kworker не был запущен. Хотя я делал много операций с контейнерами, таких как запуск/остановка/перезапуск/дамп и восстановление.

Vasu Sreekumar Guest	#5 0 28.03.2018 11:15:00 kernel 4.15 решает проблему

Shankar

Guest

22.04.2018 15:58:00

Я уже несколько месяцев сталкиваюсь с этой проблемой, и вот наткнулся на этот поток. Я обновился до ядра 4.15, но все равно вижу проблемы. Надеюсь, что допустил ошибку где-то, и ядро 4.15 решило бы проблему, но не знаю, что исправить. Буду рад предоставить любую информацию для решения проблемы, но вот что у меня сейчас:
Код: root@T30:~# pveversion -v
proxmox-ve: 5.1-42 (работающее ядро: 4.15.15-1-pve)
pve-manager: 5.1-51 (работаемая версия: 5.1-51/96be5354)
pve-kernel-4.13: 5.1-44
pve-kernel-4.15: 5.1-3
pve-kernel-4.15.15-1-pve: 4.15.15-6
pve-kernel-4.13.16-2-pve: 4.13.16-47
pve-kernel-4.13.13-5-pve: 4.13.13-38
pve-kernel-4.13.13-2-pve: 4.13.13-33
corosync: 2.4.2-pve4
criu: 2.11.1-1~bpo90
glusterfs-client: 3.8.8-1
ksm-control-daemon: 1.2-2
libjs-extjs: 6.0.1-2
libpve-access-control: 5.0-8
libpve-apiclient-perl: 2.0-4
libpve-common-perl: 5.0-30
libpve-guest-common-perl: 2.0-14
libpve-http-server-perl: 2.0-8
libpve-storage-perl: 5.0-18
libqb0: 1.0.1-1
lvm2: 2.02.168-pve6
lxc-pve: 3.0.0-2
lxcfs: 3.0.0-1
novnc-pve: 0.6-4
proxmox-widget-toolkit: 1.0-15
pve-cluster: 5.0-25
pve-container: 2.0-21
pve-docs: 5.1-17
pve-firewall: 3.0-8
pve-firmware: 2.0-4
pve-ha-manager: 2.0-5
pve-i18n: 1.0-4
pve-libspice-server1: 0.12.8-3
pve-qemu-kvm: 2.11.1-5
pve-xtermjs: 1.0-2
qemu-server: 5.0-25
smartmontools: 6.5+svn4324-1
spiceterm: 3.0-5
vncterm: 1.5-3
zfsutils-linux: 0.7.7-pve1~bpo9 Код: root@T30:~# uname -a
Linux T30 4.15.15-1-pve #1 SMP PVE 4.15.15-6 (Пн, 9 апр 2018 12:24:42 +0200) x86_64 GNU/Linux Код: top - 09:56:35 активен 1 день, 9:37, 2 пользователя, средняя нагрузка: 2.30, 2.54, 2.54
Задачи: 575 всего, 2 в работе, 445 в спящем режиме, 0 остановлено, 0 зомби
%Cpu(s): 3.1 us, 27.6 sy, 0.0 ni, 67.4 id, 1.7 wa, 0.0 hi, 0.2 si, 0.0 st
KiB Mem: 65834576 всего, 17571348 свободно, 9703844 использовано, 38559384 буфер/кэш
KiB Swap: 7340028 всего, 4993276 свободно, 2346752 использовано. 55229064 доступно Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18550 root 20 0 0 0 0 R 100.0 0.0 1474:07 kworker/u8:4 Спасибо заранее!

Jean-Pierre

Guest

22.04.2018 22:52:00

Я могу подтвердить, что ядро 4.15 решило эту проблему для меня, у нас не было никаких проблем на протяжении нескольких недель. Я также не добился успеха с платной поддержкой Proxmox, когда это происходило, я был действительно удивлён, насколько это было плохо.

Jean-Pierre

Guest

22.04.2018 23:40:00

Код: root@T30:~# uname -a
Linux T30 4.15.15-1-pve #1 SMP PVE 4.15.15-6 (Пн, 9 Apr 2018 12:24:42 +0200) x86_64 GNU/Linux Код: top - 09:56:35 работа 1 день, 9:37, 2 пользователя, средняя загрузка: 2.30, 2.54, 2.54
Задачи: всего 575, 2 выполняются, 445 спят, 0 остановлены, 0 зомби
%Cpu(s): 3.1 us, 27.6 sy, 0.0 ni, 67.4 id, 1.7 wa, 0.0 hi, 0.2 si, 0.0 st
KiB Память: 65834576 всего, 17571348 свободно, 9703844 использовано, 38559384 буфер/кэш
KiB Swap: 7340028 всего, 4993276 свободно, 2346752 использовано. 55229064 доступно Памяти

PID ПОЛЬЗОВАТЕЛЬ PR NI VIRT RES SHR S %CPU %MEM ВРЕМЯ+ КОМАНДА
18550 root 20 0 0 0 0 R 100.0 0.0 1474:07 kworker/u8:4 Спасибо заранее![/QUOTE] Привет, Шанкар. У меня нет точного ответа для тебя, но я использую несколько более старые версии, а именно: ядро: 4.15.10-1-pve lxc-pve: 2.1.1-3 lxcfs: 2.0.8-2. Ты пробовал версию ядра, которую использую я, или только совсем новую, которая у тебя сейчас, так как после 4.15.10-4 произошли изменения в источниках? И напоследок, если ты хочешь отправить мне копию pvereport в личку, я смогу посмотреть, есть ли у меня узел с такими же версиями, как у тебя, и протестировать.

Shankar

Guest

23.04.2018 02:41:00

Я только что обновил ядро до 4.15, следуя инструкциям здесь. Короче говоря, выполнил эти команды - Код: apt update apt install pve-kernel-4.15 и перезагрузил. Мне кажется, он увидел последнее ядро, судя по вашим версиям. Если я хочу соответствовать вашим версиям для ядра, lxc-pve и lxcfs, как мне это сделать? Thank you for your time on this! Я отправлю вам соответствующие части моего pvereport в личном сообщении.

lojasyst Guest	#10 0 28.06.2018 21:23:00 Та же проблема тут. Я обновил до ядра 4.15, но ничего не изменилось. Идеи? #pveversion pve-manager/5.2-2/b1d1c7f4 (работающее ядро: 4.15.17-3-pve)

Jean-Pierre

Guest

#11

01.07.2018 16:55:00

Привет! Извини за задержку с ответами. На данный момент версия 5.2 не должна иметь этой проблемы. Если ты хочешь попробовать точно такой же ядро, на котором я все еще работаю, попробуй выполнить команду: apt-get install pve-kernel-4.15.10-1-pve. Когда перезагрузишь, убедись, что система загружается с этого ядра, так как оно может не быть установленным по умолчанию. Если выполнишь команду apt-cache search pve-kernel-4.15, она покажет все доступные ядра 4.15.

fireon Guest	#12 0 12.08.2018 01:29:00 Проблема также существует в версии pve-manager/5.2-6/bcd5f008 (работающий ядро: 4.15.18-1-pve)

Jean-Pierre

Guest

#13

13.08.2018 13:45:00

Я тоже могу подтвердить, что последняя версия Promox 5.2 все еще имеет эту проблему. У меня было как минимум два отдельных узла, которые сломались из-за той же проблемы с kworker. Я также могу подтвердить, что понижение версии ядра до pve-kernel-4.15.10-1-pve все еще решает эту проблему. Я снова свяжусь с поддержкой Proxmox и дам знать.

Shankar

Guest

#14

13.08.2018 17:27:00

Я в последний раз обновлял ядро где-то 22 апреля и с тех пор у меня не было проблем. Было как минимум 3-4 случая, когда я был почти уверен, что весь узел упадет из-за проблемы с kworker, но этого так и не произошло. Для меня моя текущая настройка вполне стабильна.

fireon Guest	#15 0 14.08.2018 00:50:00 Для информации: https://pve.proxmox.com/pipermail/pve-devel/2018-August/033288.html исправление будет доступно скоро в тестовом репозитории.

Vasu Sreekumar Guest	#16 0 11.03.2018 03:14:00 Когда я перезагружаю узел, всё возвращается в норму. Но проблема снова возникает через несколько часов.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры