Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Mail Gateway
    Таймаут трекера в 90% случаев.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Таймаут трекера в 90% случаев., Proxmox Mail Gateway
     
    MiamiJack
    Guest
    #1
    0
    27.07.2021 06:25:00
    Всем привет! В 90% случаев, когда я захожу в трекер и хочу быстро посмотреть, сколько сообщений пришло, а иногда и от конкретного отправителя (чтобы проверить, что новое правило пропускает почту как надо), у меня происходит тайм-аут. Вот один пример: команда '/usr/bin/pmg-log-tracker -v -l 2000 -s 1627352460 -e 1627358400 -n -g -f anything@something.com' не сработала: получен тайм-аут (500). Иногда я ищу и по отправителю, и по получателю, но тайм-ауты всё равно происходят.

    Я использую настройки по умолчанию, которые примерно ищут за последние 24 часа. Для справки — за день приходит около 10-15 тысяч сообщений. Система виртуальная, работает под VMware, 1 процессор, 4 ГБ ОЗУ. Процессор вроде нормальный (см. приложенную фотографию). Я заметил, что память поднимается примерно до 80%, так что увеличил её до 6 ГБ. На втором скриншоте видно, что после каждого увеличения памяти она всё равно пикирует на одном и том же уровне (4-5-6 ГБ).

    Вопрос: связано ли моя проблема больше с памятью или процессором, или может с чем-то другим? Я контролирую сервер в течение дня — TOP работает нормально, ничего не грузится сверх меры, память и диск в порядке. Кстати, ещё один тест: после свежей перезагрузки, спустя минуту ресурсы системы в норме, но при запуске того же поиска в Tracking Center опять тайм-аут.

    Буду благодарен за любые советы или идеи! Спасибо!
     
     
     
    MiamiJack
    Guest
    #2
    0
    19.08.2021 00:00:00
    @t.lamprecht Спасибо за ваш ответ, извиняюсь за задержку. В данном случае UI вернул тайм-аут, но командная строка выдала некоторые данные. Это было сделано сразу после сбоя, ниже приведены результаты. Кстати, ваши замечания по CPU и памяти будут рассмотрены, и мы добавим мониторинг CPU и поиграемся с памятью, как делали раньше.

    РАНЬШЕ:  
    ==> /proc/pressure/cpu <==  
    some avg10=2.17 avg60=6.89 avg300=7.75 total=118260296184  
    ==> /proc/pressure/io <==  
    some avg10=1.28 avg60=16.43 avg300=7.41 total=12904699364  
    full avg10=0.97 avg60=13.15 avg300=5.73 total=5485536979  
    ==> /proc/pressure/memory <==  
    some avg10=0.00 avg60=0.00 avg300=0.00 total=205894479  
    full avg10=0.00 avg60=0.00 avg300=0.00 total=65412576  

    ПОСЛЕ:  
    ==> /proc/pressure/cpu <==  
    some avg10=19.00 avg60=8.22 avg300=7.78 total=118265019669  
    ==> /proc/pressure/io <==  
    some avg10=93.35 avg60=56.34 avg300=19.37 total=12946567479  
    full avg10=53.31 avg60=43.16 avg300=15.20 total=5518273827  
    ==> /proc/pressure/memory <==  
    some avg10=0.00 avg60=0.01 avg300=0.00 total=205929029  
    full avg10=0.00 avg60=0.01 avg300=0.00 total=65441455
     
     
     
    t.lamprecht
    Guest
    #3
    0
    23.08.2021 15:43:00
    Из выводов, которые вы привели, можно сделать вывод, что память не является непосредственным ограничивающим фактором, так как ни один процесс не ждал освобождения памяти. Зато пропускная способность и задержки ввода-вывода вызвали у многих процессов задержки, хотя они могли бы работать. Кроме того, загрузка процессора была уже слегка повышенной до запуска команды и заметно увеличилась после. То есть все эти показатели avg10, avg60 и avg300 должны быть ниже 1, иначе это говорит о (временной) перегрузке системы.

    Чтобы решить эту проблему, скорее всего, стоит посмотреть, можно ли выделить хотя бы одно дополнительное ядро для этой виртуальной машины — это относительно легко сделать. И желательно проверить, можно ли повысить производительность доступа к хранилищу. Последнее, конечно, даст более заметный эффект, но обычно его сложнее реализовать по сравнению с увеличением числа ядер у ВМ с 1 до 2.
     
     
     
    MiamiJack
    Guest
    #4
    0
    01.09.2021 00:45:00
    Хотя я всё ещё получаю примерно такой же результат от этой функции, версия 7.X, похоже, работает значительно быстрее и плавнее.
     
     
     
    MiamiJack
    Guest
    #5
    0
    19.06.2023 23:01:00
    Открываю это заново, так как скорее всего опять не сработает. Апгрейдил виртуалку до 2 CPU и 9 ГБ оперативки, но всё равно получаю тайм-аут. Может, стоит увеличить время ожидания перед тайм-аутом?
     
     
     
    t.lamprecht
    Guest
    #6
    0
    20.06.2023 07:01:00
    Как я уже говорил в прошлый раз, память вовсе не была главным ограничивающим фактором, дело было отчасти в процессоре (с которым теперь должно быть лучше) и в основном — в пропускной способности/задержках ввода-вывода. Можешь снова провести тест из моего предыдущего поста и на этот раз также включить время выполнения pmg-log-tracker (то есть то, что показывает префиксное время)? Так мы сможем увидеть, где сейчас узкое место и сколько реально времени занимает работа pmg-log-tracker.
     
     
     
    MiamiJack
    Guest
    #7
    0
    20.06.2023 17:34:00
    Спасибо за быстрый ответ. Я запускал это дважды с двумя пользователями, но если тут рассматривается пользователь как отправитель, может, нам стоит смотреть на него как на получателя, ведь они же фактически не передают через MGW.

    Код:
    head -n -0 /proc/pressure/*; \
    time pmg-log-tracker -v -l 2000 -s 1627435260 -e 1627444800 -n -g -f user1@user1.com; \
    head -n -0 /proc/pressure/*

    ==> /proc/pressure/cpu <==
    some avg10=19.96 avg60=32.97 avg300=17.16 total=113408907639
    full avg10=0.00 avg60=0.00 avg300=0.00 total=0

    ==> /proc/pressure/io <==
    some avg10=0.75 avg60=0.79 avg300=0.28 total=15863457958
    full avg10=0.01 avg60=0.03 avg300=0.00 total=12472469242

    ==> /proc/pressure/memory <==
    some avg10=0.14 avg60=0.11 avg300=0.02 total=1349875489
    full avg10=0.00 avg60=0.00 avg300=0.00 total=957879593

    # LogReader: 2520775
    # Query options
    # Sender: user1@user1.com
    # Start: 2021-07-27 21:21:00 (1627420860)
    # End: 2021-07-28 00:00:00 (1627430400)
    # End Query Options

    real    0m0.136s
    user    0m0.006s
    sys     0m0.004s

    ==> /proc/pressure/cpu <==
    some avg10=19.96 avg60=32.97 avg300=17.16 total=113408908210
    full avg10=0.00 avg60=0.00 avg300=0.00 total=0

    ==> /proc/pressure/io <==
    some avg10=0.75 avg60=0.79 avg300=0.28 total=15863580565
    full avg10=0.01 avg60=0.03 avg300=0.00 total=12472591289

    ==> /proc/pressure/memory <==
    some avg10=0.14 avg60=0.11 avg300=0.02 total=1349875489
    full avg10=0.00 avg60=0.00 avg300=0.00 total=957879593

    ۲▒▒ root@mgw ۲▒▒ Tue Jun 20 11:31:56am
    ~/ head -n -0 /proc/pressure/*; time pmg-log-tracker -v -l 2000 -s 1627435260 -e 1627444800 -n -g -f user2@user2.com; head -n -0 /proc/pressure/*

    ==> /proc/pressure/cpu <==
    some avg10=6.86 avg60=25.66 avg300=16.41 total=113410081041
    full avg10=0.00 avg60=0.00 avg300=0.00 total=0

    ==> /proc/pressure/io <==
    some avg10=0.49 avg60=0.76 avg300=0.31 total=15863650113
    full avg10=0.36 avg60=0.20 avg300=0.04 total=12472649543

    ==> /proc/pressure/memory <==
    some avg10=0.02 avg60=0.08 avg300=0.02 total=1349875501
    full avg10=0.00 avg60=0.00 avg300=0.00 total=957879605

    # LogReader: 2520810
    # Query options
    # Sender: user2@user2.com
    # Start: 2021-07-27 21:21:00 (1627420860)
    # End: 2021-07-28 00:00:00 (1627430400)
    # End Query Options

    real    0m0.004s
    user    0m0.000s
    sys     0m0.004s

    ==> /proc/pressure/cpu <==
    some avg10=6.86 avg60=25.66 avg300=16.41 total=113410087907
    full avg10=0.00 avg60=0.00 avg300=0.00 total=0

    ==> /proc/pressure/io <==
    some avg10=0.49 avg60=0.76 avg300=0.31 total=15863650113
    full avg10=0.36 avg60=0.20 avg300=0.04 total=12472649543

    ==> /proc/pressure/memory <==
    some avg10=0.02 avg60=0.08 avg300=0.02 total=1349875501
    full avg10=0.00 avg60=0.00 avg300=0.00 total=957879605
     
     
     
    MiamiJack
    Guest
    #8
    0
    26.10.2023 22:49:00
    Всем привет! Очень нужно решить этот вопрос. Хочу задать пару вопросов о том, как это работает, чтобы лучше понять проблему. Мы читаем эти данные из базы данных или на самом деле обращаемся к лог-файлу и пытаемся собрать информацию оттуда? Что могу сказать: иногда, когда я выполняю запрос из командной строки, получаю ответ, а иногда — после множества неудачных попыток через GUI или в сочетании с GUI и командной строкой (которые тоже не срабатывают) — в итоге всё же появляется ответ. Добавление памяти, дополнительного виртуального процессора, переход с RAID-массива на SSD — никакой разницы. Использую последнюю версию PMG 8.x. Именно поэтому я и спросил про базу данных. Ещё одна деталь: сегодня (26-е число месяца) у меня в mail.log более 11 миллионов строк. Надеюсь, кто-нибудь поможет разобраться, чтобы было проще получать нужные ответы при отслеживании. Спасибо!
     
     
     
    MiamiJack
    Guest
    #9
    0
    10.12.2023 06:01:00
    @t.lamprecht У меня всё ещё та же проблема, и становится просто невозможно получить информацию за разумное время. Если ищешь, потом ждёшь, ищешь снова, ждёшь снова, может быть, через 20 минут удастся получить данные — это просто неприемлемо. Я учитываю, в какой день месяца был поиск — это было 5-го, так что лог-файл ещё не такой большой. Сегодня 10-е, и mail.log уже больше 4 ГБ, поэтому мой вопрос — не стоило бы сохранять лог в базу данных?
     
     
     
    t.lamprecht
    Guest
    #10
    0
    11.12.2023 16:50:00
    Снова процессор этого хоста полностью перегружен: в среднем более 17 процессов хотели выполняться, но не могли, потому что не хватало времени на CPU. Пока этот хост такой слабый, он просто не станет быстрее...
     
     
     
    MiamiJack
    Guest
    #11
    0
    18.12.2023 20:36:00
    Спасибо за обновление. Я увеличил количество CPU на виртуальной машине с 2 до 4 и продолжу изучать вопрос. Мой вопрос связан с самим лог-файлом. Эта функция не ищет в лог-файле в реальном времени? У меня сложилось ощущение при работе с системой, что если сначала поискать лог-файл в Linux, а потом сразу или даже через небольшой промежуток времени — в трекере, то результаты появляются быстро. А если в трекере не искать с предыдущего дня, то просто происходит тайм-аут. Хотя да, я понимаю, что CPU может сильно нагружаться из-за grep, но не в этом ли проблема? Говорю так, потому что размер mail.log достигает миллиона строк и больше к концу месяца.
     
     
     
    MiamiJack
    Guest
    #12
    0
    20.12.2023 20:15:00
    Я добавил дополнительные процессоры, всего стало 4, и изначально, так как команда поиска как бы кэшировала лог, я мог искать очень быстро. Сегодня, когда начал искать проблему с другим адресом электронной почты, поиск несколько раз прерывался по таймауту. Текущий файл mail.log (текущий месяц, ротация) содержит 9 031 756 строк. Вот почему я и задаю вопрос: не стоит ли сразу сохранять это в базу данных, чтобы обеспечить мгновенный доступ ко всей информации?
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры