+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Случайные ошибки репликации ZFS., Proxmox Виртуальная Среда

mbosma

Guest

15.01.2021 16:28:00

Недавно обновил кластер из 3 узлов на pve-5.3 до pve-6.3-3. На всех узлах работает zfs-replication на два других узла. После обновления стали периодически возникать ошибки в репликации. Получаю письма с сообщением "Replication Job: 127-2 failed - no tunnel IP received" примерно через случайные промежутки времени. Когда репликация падает, следующая (или ручная) репликация успешно запускается снова. Пересоздание репликации или запуск двух репликаций для VM с другими интервалами не помогает. Проверил наличие незакреплённых/сиротских zfs-снимок на целевых узлах, но всё чисто. Довольно сложно отлаживать, потому что не могу найти полезной информации в логах, и ошибки не постоянные. У меня есть другой кластер с точно такой же конфигурацией, установленный с pve 6.2-1, где этих ошибок нет, так что думаю, это связано с обновлением. У кого-нибудь есть совет, как отладить эту проблему?

jfenning

Guest

05.03.2021 20:09:00

Решил ты свою проблему? У меня периодически возникают ошибки репликации, в основном во время бэкапов. Переход на PBS помог. Сегодня занимался апгрейдом, создавал какую-то нагрузку на диски ввода-вывода и они начались. При обычной нагрузке всё тихо. Проверил логи, там ничего нет. Все массивы на SATA SSD, так что проблем с производительностью не было. Просто слежу, чтобы кто-нибудь ещё это не замечал.

mbosma

Guest

10.03.2021 16:17:00

К сожалению, пока не удалось решить эту проблему. Так как это в основном vm's для pbx, они не создают большой объем нагрузки (особенно не на хранилище), и я не провожу резервное копирование. Системы соединены между собой выделенной 10G линией для репликации, поэтому я не думаю, что проблема в сети. Кстати, использую ssd. Довольно сложно отлаживать, потому что проблема возникает, кажется, случайным образом. Я проверил логи и графики (из munin), чтобы найти связь, но пока безуспешно.

mbosma

Guest

21.04.2021 16:48:00

Хотел ещё раз обновить эту тему. Кластер обновился до последней версии корпоративного репозитория pve (6.3-6 на момент написания), включая ZFS 2.0. Хотя это и не исправило проблему, дало немного больше информации. Вместо общей ошибки "no tunnel IP received" теперь выдаёт "no tunnel IP received, got 'trying to acquire lock...'". Похоже, не может получить блокировку, думаю, что слишком много репликаций. Затронутый кластер имеет 58 vm, распределённых по 3 узлам, и каждая vm реплицируется на два других узла. Это приводит к 116 репликациям каждые 15 минут. Другой кластер, который не затронут, имеет только 25 vm и 50 репликаций каждые 15 минут. Может ли это быть проблемой, что пытаются сделать слишком много репликаций? Есть ли способ проверить это без необходимости каждый раз, когда происходит ошибка, просматривать все логи?

mbosma

Guest

21.04.2021 17:04:00

Поймал еще одну ошибку и скопировал все файлы из /var/log/pve/replicate/*. Это не критичная ошибка, но решил включить в лог. Репликация: 107-0. Код: 2021-04-21 17:00:14 101-0: (remote_finalize_local_job) удаление устаревшего снимка репликации '__replicate_101-0_1619016309__' на local-zfs:vm-101-disk-0
2021-04-21 17:00:15 101-0: завершение работы репликации
2021-04-21 17:00:06 101-1: начало работы репликации
2021-04-21 17:00:06 101-1: гость => VM 101, работает => 493
2021-04-21 17:00:06 101-1: тома => local-zfs:vm-101-disk-0
2021-04-21 17:00:07 101-1: создание снимка '__replicate_101-1_1619017206__' на local-zfs:vm-101-disk-0
2021-04-21 17:00:07 101-1: использование небезопасной передачи, ограничение скорости: нет
2021-04-21 17:00:07 101-1: инкрементная синхронизация 'local-zfs:vm-101-disk-0' (__replicate_101-1_1619016305__ => __replicate_101-1_1619017206__)
2021-04-21 17:00:09 101-1: отправка с @__replicate_101-1_1619016305__ в rpool/data/vm-101-disk-0@__replicate_101-0_1619016309__ оценочный размер: 407K
2021-04-21 17:00:09 101-1: отправка с @__replicate_101-0_1619016309__ в rpool/data/vm-101-disk-0@__replicate_101-1_1619017206__ оценочный размер: 88.3M
2021-04-21 17:00:09 101-1: общий оценочный размер: 88.7M
2021-04-21 17:00:09 101-1: [pve5] успешно импортирован 'local-zfs:vm-101-disk-0'
2021-04-21 17:00:09 101-1: удаление предыдущего снимка репликации '__replicate_101-1_1619016305__' на local-zfs:vm-101-disk-0
2021-04-21 17:00:10 101-1: (remote_finalize_local_job) удаление устаревшего снимка репликации '__replicate_101-1_1619016305__' на local-zfs:vm-101-disk-0
2021-04-21 17:00:10 101-1: завершение работы репликации
2021-04-21 17:00:15 107-0: начало работы репликации
2021-04-21 17:00:15 107-0: гость => VM 107, работает => 12492
2021-04-21 17:00:15 107-0: тома => local-zfs:vm-107-disk-0
2021-04-21 17:00:16 107-0: создание снимка '__replicate_107-0_1619017215__' на local-zfs:vm-107-disk-0
2021-04-21 17:00:16 107-0: использование небезопасной передачи, ограничение скорости: нет
2021-04-21 17:00:16 107-0: инкрементная синхронизация 'local-zfs:vm-107-disk-0' (__replicate_107-0_1619016318__ => __replicate_107-0_1619017215__)
2021-04-21 17:00:17 107-0: удаление предыдущего снимка репликации '__replicate_107-0_1619017215__' на local-zfs:vm-107-disk-0
2021-04-21 17:00:17 107-0: завершение работы репликации
2021-04-21 17:00:27 110-0: начало работы репликации
2021-04-21 17:00:27 110-0: гость => VM 110, работает => 21489
2021-04-21 17:00:27 110-0: тома => local-zfs:vm-110-disk-1,local-zfs:vm-110-state-Update_firmware
2021-04-21 17:00:28 110-0: создание снимка '__replicate_110-0_1619017227__' на local-zfs:vm-110-disk-1
2021-04-21 17:00:28 110-0: создание снимка '__replicate_110-0_1619017227__' на local-zfs:vm-110-state-Update_firmware
2021-04-21 17:00:28 110-0: использование небезопасной передачи, ограничение скорости: нет

Moayad Guest	#6 0 26.04.2024 12:00:00 Привет! Если проблема все еще не решена, попробуй обновить libpve-storage-perl до версии `8.2.1` [0]. [0] https://git.proxmox.com/?p=pve-storage.git;a=commit;h=b6fc9de14ad8da71037f9bd3d63055cc1f517416

mbosma Guest	#7 0 30.04.2024 18:11:00 Спасибо за обновление! Я решил проблему, перейдя на безопасную конфигурацию. Обновлю пакет, как только получим окно обслуживания от клиента.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры