+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Проблемы с ZFS на простом rsync., Proxmox Виртуальная Среда

freebee

Guest

14.01.2024 15:22:00

Привет. Моя конфигурация простая: Proxmox VE (ZFS на всех дисках) с виртуализированным Proxmox Backup Server. Proxmox Backup Server временно находится внутри. Таким образом, в виртуализированном Proxmox Backup Server мне нужно сделать rsync хранилища данных на другое (первый диск на одном SSD, а второй диск на другом, и оба диска проходят проверку smartctl). Внутри Proxmox Backup Server на обоих дисках используется XFS. Когда я делаю rsync с первого диска на второй, через несколько секунд VM полностью зависает. Когда я пытаюсь выключить VM в Proxmox VE, происходит таймаут. При остановке (принудительной) всё ок, выключается. Когда пытаюсь перезагрузить, при запуске systemd происходит таймаут. Просто перезагрузка сервера всё возвращает в норму. Я читал несколько сообщений здесь, в которых говорилось, что ошибка ZFS исправлена, но это не так. У меня есть другие узлы (6.x и 7.4), и ни на одном из них нет таких проблем. Я не помню версию Proxmox с таким количеством проблем с ZFS. Версия ядра Linux 6.5.11-7-pve (2023-12-05T09:44Z), версия менеджера pve-manager/8.1.3/b46aac3b42da5d15, #zfs --version zfs-2.2.2-pve1 zfs-kmod-2.2.2-pve1. Лог из dmesg: [ 245.101161] INFO: задача txg_sync:1915 заблокирована более 120 секунд. [ 245.101184] Tainted: P IO 6.5.11-7-pve #1 [ 245.101197] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. [ 245.101210] задача:txg_sync состояние: D стек:0 pid:1915 ppid:2 флаги:0x00004000 [ 245.101214] Call Trace: [ 245.101217] <TASK> [ 245.101221] __schedule+0x3fd/0x1450 [ 245.101229] schedule+0x63/0x110 [ 245.101232] schedule_timeout+0x95/0x170 [ 245.101236] ? __pfx_process_timeout+0x10/0x10 [ 245.101241] io_schedule_timeout+0x51/0x80 [ 245.101246] __cv_timedwait_common+0x140/0x180 [spl] [ 245.101280] ? __pfx_autoremove_wake_function+0x10/0x10 [ 245.101284] __cv_timedwait_io+0x19/0x30 [spl] [ 245.101295] zio_wait+0x13a/0x2c0 [zfs] [ 245.101620] dsl_pool_sync+0xce/0x4e0 [zfs] [ 245.101800] spa_sync+0x57a/0x1030 [zfs] [ 245.101977] ? spa_txg_history_init_io+0x120/0x130 [zfs] [ 245.102150] txg_sync_thread+0x1fd/0x390 [zfs] [ 245.102322] ? __pfx_txg_sync_thread+0x10/0x10 [zfs] [ 245.102493] ? __pfx_thread_generic_wrapper+0x10/0x10 [spl] [ 245.102505] thread_generic_wrapper+0x5c/0x70 [spl] [ 245.102516] kthread+0xef/0x120 [ 245.102518] ? __pfx_kthread+0x10/0x10 [ 245.102521] ret_from_fork+0x44/0x70 [ 245.102524] ? __pfx_kthread+0x10/0x10 [ 245.102527] ret_from_fork_asm+0x1b/0x30

ksb Guest	#2 0 01.05.2024 06:43:00 Ты нашел решение?

freebee

Guest

01.05.2024 20:39:00

Да. Что мне подходит: SSD. Некоторые SSD на самом деле не 4k. Когда вы форматируете SSD в ZFS, стандарт — ashift 12. Я ставлю 9. Контроллеры RAID: Некоторые контроллеры RAID просто не обеспечивают той производительности, которая нужна ZFS для записи. Так что, когда ZFS пишет быстрее, чем диск, происходит таймаут или блокировка. Я думаю, что алгоритм ZFS не может правильно определить фактическую скорость записи диска, из-за чего процесс зависает. Теоретическое решение было бы в том, чтобы он адаптировал производительность записи в зависимости от объема диска, используемого для обработки IOPS. Возможно, есть несоответствие между тем, что он отправляет на оборудование, и тем, что оборудование может реально предоставить. Процесс записи на диск в этих случаях может вызывать своего рода DDOS, перегружая диск и файловую систему, приводя их в цикл. Возможно, это связано с тем, что он работает по принципу CoW ("Copy on Write"). В такой системе данные не перезаписываются напрямую в их исходных местах при изменении. Вместо этого, каждый раз, когда файл меняется, ZFS записывает новые данные в новое место и только потом обновляет указатели на новые данные. Это помогает поддерживать целостность данных и предотвращает их повреждение во время сбоев системы или отключения электроэнергии. Тот же диск и контроллер, используемые с ext4 или xfs, работают "нормально". Несовместимость с RAID. ZFS определенно не совместим с RAID-системами на старом или даже новом оборудовании. Direct mode, IT, решает эти проблемы с производительностью. Я думаю, что заметка от проекта по этому поводу решила бы многие проблемы, о которых сообщают на форумах.

freebee

Guest

01.05.2024 20:54:00

ОБНОВЛЕНИЕ: NOOP: Простой планировщик, работающий на основе FIFO-очереди без дополнительной перестановки, идеален для устройств, которые уже имеют свой собственный планировщик, например, SSD. Deadline: Нацелен на минимизацию времени отклика для любой операции ввода-вывода, назначая каждой операции срок, до которого она должна быть завершена. CFQ (Completely Fair Queuing): Стремится равномерно распределять полосу пропускания ввода-вывода между всеми процессами, запрашивающими ввод-вывод. MQ-Deadline или BFQ (Budget Fair Queuing) в более новых системах, использующих модель множественных очередей (multiqueue). Также можно попробовать изменить планировщик дисков Linux в этих случаях: echo deadline > /sys/block/sda/queue/scheduler. ВНИМАНИЕ: sda здесь — диск, на котором находится zfs. Можно посмотреть со статусом zpool в командной строке. По умолчанию Linux использует CFQ. Для более медленных дисков (или более медленных контроллеров) это может быть кошмаром при использовании с zfs. Можно попробовать, если невозможно обновить контроллер RAID или диск.

ksb Guest	#5 0 03.05.2024 18:27:00 Если я смотрю /sys/block/nvme0n1/queue/scheduler.. Код: cat /sys/block/nvme0n1/queue/scheduler [none] mq-deadline ... deadline опция не отображается? Это нормально? Значит, я не могу установить его в режим deadline, я так понимаю.

freebee Guest	#6 0 03.05.2024 18:49:00 Ты используешь NVMe, можешь попробовать mq-deadline. De none — настройка по умолчанию для NVMe-дисков. Но обычно с NVMe таких проблем не возникает.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры