+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Время в системе Linux временно скакнуло., Proxmox Виртуальная Среда

auranext

Guest

17.08.2020 14:32:00

Привет! В прошлую субботу впервые заметил странное поведение системы с изменением времени на серверах PROMOX 5.4.

В 05:15 systemd в syslog зафиксировал изменение времени на 14 июня 07:38. Компоненты HA вынудили узел перезагрузиться после сбоя системного сторожевого таймера (watchdog). После перезагрузки время системы и аппаратные часы работают корректно, кластер функционирует нормально. В syslog не упоминается синхронизация через ntp, скорее всего, изменение времени вызвано локальным поведением.

Сервер — HPE DL360Gen9. В 05:15 нагрузка на систему была в норме. Кто-нибудь сталкивался с подобным?

Aug 15 05:15:15 CLIB05PVE2 systemd[1]: Запущена сессия 933769 пользователя root.
Aug 15 05:15:15 CLIB05PVE2 systemd[1]: Запущена сессия 933770 пользователя root.
Aug 15 05:15:20 CLIB05PVE2 snmpd[27738]: ошибка при добавлении подконтейнера 'ia_addr' (-1)
Aug 15 05:15:20 CLIB05PVE2 snmpd[27738]: ошибка при добавлении подконтейнера 'ia_addr' (-1)
Aug 15 05:15:20 CLIB05PVE2 snmpd[27738]: ошибка при добавлении подконтейнера 'ia_addr' (-1)
Aug 15 05:15:50 CLIB05PVE2 snmpd[27738]: ошибка при добавлении подконтейнера 'ia_addr' (-1)
Aug 15 05:15:50 CLIB05PVE2 snmpd[27738]: ошибка при добавлении подконтейнера 'ia_addr' (-1)
Aug 15 05:15:50 CLIB05PVE2 snmpd[27738]: ошибка при добавлении подконтейнера 'ia_addr' (-1)

Jun 14 07:38:51 CLIB05PVE2 systemd[1]: Время было изменено
Jun 14 07:38:51 CLIB05PVE2 systemd[8360]: Время было изменено

Jun 14 07:38:51 CLIB05PVE2 systemd[1]: apt-daily-upgrade.timer: Добавлено случайное время 13мин 37.592597с.
Jun 14 07:38:51 CLIB05PVE2 systemd[1]: apt-daily.timer: Добавлено случайное время 5ч 52мин 29.550868с.
Jun 14 07:38:51 CLIB05PVE2 systemd[1]: pve-daily-update.timer: Добавлено случайное время 1ч 39мин 7.752208с.
Jun 14 07:38:52 CLIB05PVE2 systemd[1]: Запущен процесс репликации Proxmox VE.
Jun 14 07:38:58 CLIB05PVE2 CRON[9581]: (root) CMD (/usr/sbin/pve-ultron-resetme.pl -SR 2175)
Jun 14 07:39:00 CLIB05PVE2 postfix/pickup[30559]: 01CE11E4E07: uid=0 from=<root>
Jun 14 07:39:00 CLIB05PVE2 postfix/cleanup[18234]: 01CE11E4E07: message-id=<20200614053900.01CE11E4E07@CLIB05PVE2.auracloud.int>
Jun 14 07:39:00 CLIB05PVE2 postfix/qmgr[19057]: предупреждение: обнаружен обратный скачок времени — ведется плавная корректировка часов
Jun 14 07:39:00 CLIB05PVE2 postfix/qmgr[19057]: 01CE11E4E07: from=<root@CLIB05PVE2.auracloud.int>, размер=719, nrcpt=1 (очередь активна)
Jun 14 07:39:00 CLIB05PVE2 CRON[10165]: (root) CMD (/usr/sbin/pve-ultron-resetme.pl -SR 2175)
Jun 14 07:39:00 CLIB05PVE2 pmxcfs[5158]: [статус] уведомление: ошибка обновления RRDC /var/lib/rrdcached/db/pve2-node/CLIB05PVE2: -1
Jun 14 07:39:00 CLIB05PVE2 pmxcfs[5158]: [статус] уведомление: ошибка обновления RRD /var/lib/rrdcached/db/pve2-node/CLIB05PVE2: /var/lib/rrdcached/db/pve2-node/CLIB05PVE2: незаконная попытка обновления с временем 1592113140, когда время последнего обновления 1597461312 (минимальный шаг — 1 секунда)

Спасибо!

Aristo

Guest

04.02.2021 09:53:00

Привет, немного запоздало, но хочу поделиться своим опытом. Несколько недель назад у меня была точно такая же проблема:
Jan 13 14:26:13 xxx postfix/smtp[1393282]: connect to xxx[xxx]:25: Connection refused
Jan 13 14:26:13 xxx postfix/smtp[1393282]: 3856B41100: to=<xxx>, relay=none, delay=389122, delays=389091/0.02/30/0, dsn=4.4.1, status=deferred (connect to [xxx]:25: Connection refused)
Jan 13 14:24:19 xxx systemd[1]: Time has been changed
Jan 13 14:24:19 xxx systemd[1]: apt-daily-upgrade.timer: Adding 52min 53.271989s random time.
Jan 13 14:24:19 xxx systemd[1]: pve-daily-update.timer: Adding 3h 59min 32.182236s random time.
Jan 13 14:24:19 xxx systemd[1]: apt-daily.timer: Adding 3h 17min 52.660783s random time.
Jan 13 14:24:22 xxx pmxcfs[6385]: [status] notice: RRDC update error /var/lib/rrdcached/db/pve2-node/xxx: -1
Jan 13 14:24:22 xxx pmxcfs[6385]: [status] notice: RRD update error /var/lib/rrdcached/db/pve2-node/xxx: /var/lib/rrdcached/db/pve2-node/xxx: illegal attempt to update using time 1610544262 when last update time is 1610544280 (minimum one second step)
Jan 13 14:24:22 xxx pmxcfs[6385]: [status] notice: RRDC update error /var/lib/rrdcached/db/pve2-vm/203: -1
Jan 13 14:24:22 xxx pmxcfs[6385]: [status] notice: RRD update error /var/lib/rrdcached/db/pve2-vm/203: /var/lib/rrdcached/db/pve2-vm/203: illegal attempt to update using time 1610544262 when last update time is 1610544270 (minimum one second step)

К сожалению, на тот момент уже закончилась поддержка версии 5.4, и ответ на мой тикет был примерно таким: «Мы не знаем, в чём может быть проблема, пожалуйста, обновитесь до 6.3».

Через пару дней мы сделали обновление, и теперь мне интересно, когда и произойдет ли это снова.

Доверие, конечно, немного поколебалось.

Железо: HPE DL380 Gen10.

auranext

Guest

04.02.2021 10:14:00

Привет! По всей видимости, это проблема, которая возникает очень редко. В течение нескольких месяцев мы следим за временем работы CPU, аппаратными и системными часами — всё идеально синхронизировано, сдвигов нет. Маловероятно, но возможно, что причина в сломанном NTP-сервере, плюс к тому узел допускает необоснованный скачок времени. Скачки времени явно ВРЕДНЫ для работающих систем. Какие исходные NTP-серверы были настроены на вашем узле (до обновления до 6.3)?

Aristo

Guest

04.02.2021 11:21:00

Это, собственно, наша главная проблема, которую мы скоро решим. Сейчас у нас есть два контроллера домена, которые выступают в роли NTP-серверов, но оба работают на виртуальных машинах, так что это просто ужасное решение. Мы уже планируем изменить это. А как у вас настроен NTP?

spirit

Guest

04.02.2021 12:58:00

Мы используем chrony на работе — на хосте proxmox и в виртуальных машинах для клиента, а также chrony в качестве серверов на физических машинах, чтобы избежать смещения времени. Три NTP-сервера, чтобы обеспечить кворум. Ещё на ваших узлах proxmox отключите энергосберегающие функции (динамическую частоту, отключение ядер и т.д.), это очень помогает поддерживать стабильные часы.

pvps1 Guest	#6 0 04.02.2021 14:33:00 NTP включен на (резервном, не виртуализированном) фаерволе. Они синхронизируются с пулом NTP. Для внутреннего фаервола разрешён только определённый источник NTP.

auranext Guest	#7 0 04.02.2021 14:49:00 @spirit, будет ли chrony предотвращать подозрительные скачки времени, если сломанный NTP-сервер вернёт ошибочную дату?

spirit Guest	#8 0 05.02.2021 15:31:00 Если у вас есть 3 NTP-сервера, да. Он проверит разницу между 3 узлами, и победит большинство.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры