Я настроил кластер из двух узлов, и миграция ВМ с одного узла на другой проходит без проблем, но при попытке включить репликацию возникает следующая ошибка: Код: 2020-11-03 22:44:01 106-0: запуск задачи репликации 2020-11-03 22:44:01 106-0: гость => ВМ 106, запущен => 19766 2020-11-03 22:44:01 106-0: тома => имя:vm-106-disk-0 2020-11-03 22:44:01 106-0: заморозить файловую систему гостя 2020-11-03 22:44:01 106-0: создать снимок '__replicate_106-0_1604439841__' на имя:vm-106-disk-0 2020-11-03 22:44:01 106-0: разморозить файловую систему гостя 2020-11-03 22:44:01 106-0: использовать защищенную передачу, ограничение скорости: нет 2020-11-03 22:44:01 106-0: полная синхронизация 'имя:vm-106-disk-0' (__replicate_106-0_1604439841__) 2020-11-02 22:44:02 106-0: не удается отправить pool/name/vm-106-disk-0@__replicate_106-0_1604439841__: зашифрованный набор данных pool/names/vm-106-disk-0 не может быть отправлен с атрибутами без флага raw 2020-11-03 22:44:02 106-0: команда 'zfs send -Rpv -- pool/name/vm-106-disk-0@__replicate_106-0_1604439841__' завершилась неудачно: код возврата 1 2020-11-03 22:44:02 106-0: не удается получить: не удалось прочитать из потока 2020-11-03 22:44:02 106-0: не удается открыть 'pool/name/vm-106-disk-0': набор данных не существует 2020-11-03 22:44:02 106-0: команда 'zfs recv -F -- pool/name/vm-106-disk-0' завершилась неудачно: код возврата 1 2020-11-03 22:44:02 106-0: удалить предыдущий снимок репликации '__replicate_106-0_1604439841__' на имя:vm-106-disk-0 2020-11-03 22:44:02 106-0: завершить задачу репликации с ошибкой: команда 'set -o pipefail && pvesm export name:vm-106-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_106-0_1604439841__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=nodename' root@ip.ad.dr.ess -- pvesm import name:vm-106-disk-0 zfs - -with-snapshots 1 -allow-rename 0' завершилась неудачно: код возврата 1 Как можно установить флаг raw? Или это сейчас не поддерживается? У меня все ВМ на node1 на зашифрованном дата-пуле. Я пытался удалить второй узел из кластера, создать незашифрованный пул и снова присоединиться к кластеру, но это тоже не сработало. Какие у меня есть возможности, если я хочу включить репликацию ВМ на второй узел кластера, сохранив зашифрованный дата-пул? При миграции некоторых ВМ с одного узла на другой я заметил, что некоторые узлы мигрируют без проблем, другие же терпят неудачу по одной и той же причине? Следя за логами неудачного случая. Эти ВМ находятся в одном и том же дата-пуле, поэтому я не понимаю, в чем разница и почему некоторые могут быть перемещены на другой узел, а другие — нет. С другой стороны, это дает мне надежду, что это не вопрос невозможности репликации в зашифрованных наборах данных. Заранее спасибо за любую помощь. Код: 2020-11-04 00:14:04 начало миграции ВМ ID на узел 'nodename' (192.168.x.y) 2020-11-04 00:14:05 найден локальный, реплицируемый диск 'имя:vm-106-disk-0' (в текущей конфигурации ВМ) 2020-11-04 00:14:05 scsi0: начать отслеживание записей, используя block-dirty-bitmap 'repl_scsi0' 2020-11-04 00:14:05 репликация образов дисков 2020-11-04 00:14:05 начать задачу репликации 2020-11-04 00:14:05 гость => ВМ 106, запущен => 19766 2020-11-04 00:14:05 тома => имя:vm-106-disk-0 2020-11-04 00:14:06 заморозить файловую систему гостя 2020-11-04 00:14:06 создать снимок '__replicate_106-0_1604445245__' на имя:vm-106-disk-0 2020-11-04 00:14:06 разморозить файловую систему гостя 2020-11-04 00:14:06 использовать защищенную передачу, ограничение скорости: нет 2020-11-04 00:14:06 полная синхронизация 'имя:vm-106-disk-0' (__replicate_106-0_1604445245__) 2020-11-04 00:14:07 не удается отправить pool/name/vm-106-disk-0@__replicate_106-0_1604445245__: зашифрованный набор данных pool/name/vm-106-disk-0 не может быть отправлен с атрибутами без флага raw 2020-11-04 00:14:07 команда 'zfs send -Rpv -- pool/name/vm-106-disk-0@__replicate_106-0_1604445245__' завершилась неудачно: код возврата 1 2020-11-04 00:14:07 не удается получить: не удалось прочитать из потока 2020-11-04 00:14:07 не удается открыть 'pool/name/vm-106-disk-0': набор данных не существует 2020-11-04 00:14:07 команда 'zfs recv -F -- pool/name/vm-106-disk-0' завершилась неудачно: код возврата 1 отправка/получение не удалось, очищаем снимок(и) 2020-11-04 00:14:07 удалить предыдущий снимок репликации '__replicate_106-0_1604445245__' на имя:vm-106-disk-0 2020-11-04 00:14:07 завершить задачу репликации с ошибкой: команда 'set -o pipefail && pvesm export name:vm-106-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_106-0_1604445245__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=nodename' root@192.168.x.y -- pvesm import name:vm-106-disk-0 zfs - -with-snapshots 1 -allow-rename 0' завершилась неудачно: код возврата 1 2020-11-04 00:14:07 ОШИБКА: Не удалось синхронизировать данные - команда 'set -o pipefail && pvesm export name:vm-106-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_106-0_1604445245__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=nodename' root@192.168.x.y -- pvesm import name:vm-106-disk-0 zfs - -with-snapshots 1 -allow-rename 0' завершилась неудачно: код возврата 1 2020-11-04 00:14:07 отмена фазы 1 - очистка ресурсов 2020-11-04 00:14:07 scsi0: удаление block-dirty-bitmap 'repl_scsi0' 2020-11-04 00:14:07 ОШИБКА: миграция отменена (продолжительность 00:00:03): Не удалось синхронизировать данные - команда 'set -o pipefail && pvesm export name:vm-106-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_106-0_1604445245__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=nodename' root@192.168.x.y -- pvesm import name:vm-106-disk-0 zfs - -with-snapshots 1 -allow-rename 0' завершилась неудачно: код возврата 1 ЗАДАЧА ОШИБКА: миграция отменена