Можно преобразовать вашу нешифрованную установку PVE в полностью системно зашифрованную. Подробнее здесь: сообщение в теме 'Шифрование Proxmox VE (лучшие методы)' https://forum.proxmox.com/threads/encrypting-proxmox-ve-best-methods.88191/post-387731. Но есть некоторые ограничения. Например, кластеризация здесь не особо нужна, поскольку нельзя использовать ZFS репликацию и нельзя переносить гостевые системы между узлами или кластерами.

Можно также настроить dropbear-initramfs. С его помощью можно разблокировать rpool по SSH. Я предпочитаю это, потому что webKVM моего BMC не позволяет вставлять пароль из моего менеджера паролей.

Я также написал, как объединить dropbear-initramfs + скрипт expect, чтобы автоматизировать разблокировку нескольких серверов из CLI/скрипта: https://forum.proxmox.com/threads/a...rypted-pve-server-over-lan.125067/post-546466, конечно, это полезно только если этот expect скрипт хранится на зашифрованном хранилище, которое вы уже разблокировали.

Это несложно. Обычно я делаю так:
1.) Устанавливаю PVE, используя ZFS.
2.) Загружаю ZFS-совместимую Live Linux (я использую ISO PVE для этого, вхожу в режим установки в debug mode и запускаю "exit", чтобы попасть в shell).
3.) Затем я шифрую мой набор данных "pve-1" (это корневая файловая система, которая также содержит хранилище "local") и набор данных "data" (используется хранилищем "local-zfs") с помощью:
Импортировать пул ZFS: zpool import -f rpool
Создать снимок rpool/ROOT: zfs snapshot -r rpool/ROOT@copy
Создать копию не зашифрованного rpool/ROOT и всех его дочерних элементов: zfs send -R rpool/ROOT@copy | zfs recv rpool/copyroot
Удалить незашифрованный rpool/ROOT: zfs destroy -r rpool/ROOT
Создать новый зашифрованный rpool/ROOT: zfs create -o encryption=aes-256-gcm -o keyformat=passphrase rpool/ROOT
Скопировать и зашифровать незашифрованный rpool/copyroot/pve-1: zfs send -R rpool/copyroot/pve-1@copy | zfs recv -o encryption=on rpool/ROOT/pve-1
Удалить копию: zfs destroy -r rpool/copyroot
Удалить снимки: zfs destroy rpool/ROOT/pve-1@copy
Данные должны быть пусты, поэтому можно удалить и их: zfs destroy rpool/data
Если это не новая установка PVE, возможно, вам захочется сначала сделать снимок и скопировать его, как это сделано выше с набором данных "ROOT", чтобы не потерять данные на нём.
Создать новый зашифрованный rpool/data: zfs create -o encryption=aes-256-gcm -o keyformat=passphrase rpool/data
Экспортировать пул: zpool export rpool
Перезагрузиться.

Да, PVE использует proxmox-boot-tool для синхронизации загрузчика. Он находится на разделе 2, а ZFS — на разделе 3.

Нужно разблокировать оба пула, вводя пароль дважды. Как, например, при выполнении команды `zfs load-key -a`. Или зашифруй свой rpool/data с помощью файла ключа вместо парольной фразы, а затем создай systemd-сервис для разблокировки всех наборов данных, зашифрованных файлом ключа, и храни этот файл ключа где-нибудь на зашифрованном rpool/ROOT/pve-1. Вот как я это делаю:

Несколько полезных команд, которые я обычно использую:

*   Включи `relatime`:
   ```bash
   zfs set relatime=on rpool
   ```
*   Включи `autotrim`:
   ```bash
   zpool set autotrim=on rpool
   ```
*   Установи квоту, чтобы пул никогда не заполнялся случайно (здесь 100 ГБ, но выбирай что-то вроде 90% от твоего доступного объема):
   ```bash
   zfs set quota=100G rpool
   ```
*   Создай новый зашифрованный набор данных на rpool:
   *   Создай скрытую папку для ключей:
       ```bash
       mkdir /root/.keys
       chown root:root /root/.keys
       chmod 740 /root/.keys
       ```
   *   Создай файл ключа:
       ```bash
       openssl rand -hex -out /root/.keys/rpool_vault.key 32
       chown -R root:root /root/.keys/rpool_vault.key
       chmod -R 740 /root/.keys/rpool_vault.key
       ```
       **ВАЖНО: СОХРАНИ КОПИЮ ФАЙЛА КЛЮЧА!!!**
   *   Создай зашифрованный набор данных:
       ```bash
       zfs create -o encryption=aes-256-gcm -o keyformat=hex -o keylocation=file:///root/.keys/rpool_vault.key rpool/vault
       ```
*   Создай новый набор данных для ISO/сниппетов/шаблонов:
   ```bash
   zfs create -o compression=zstd rpool/vault/data
   ```
*   Добавь новый хранилище типа ZFSpool для ISO/сниппетов/шаблонов:
   ```bash
   pvesm add dir data --is_mountpoint 1 --path /rpool/vault/data --content vztmpl,snippets,iso --shared 0
   ```
*   Создай новый набор данных для виртуальных машин:
   ```bash
   zfs create rpool/vault/VM8K
   ```
*   Добавь новый хранилище типа ZFSpool для виртуальных машин:
   ```bash
   pvesm add zfspool VM8K --blocksize 8K --content images --pool rpool/vault/VM8K --sparse 1 --mountpoint /rpool/vault/VM8K
   ```
*   Создай новый набор данных для контейнеров LXC:
   ```bash
   zfs create -o recordsize=128K rpool/vault/LXC128K
   ```
*   Добавь новый хранилище типа ZFSpool для контейнеров LXC:
   ```bash
   pvesm add zfspool LXC128K --blocksize 8K --content rootdir --pool rpool/vault/LXC128K --sparse 1 --mountpoint /rpool/vault/LXC128K
   ```

Создай сервис для автоматической разблокировки зашифрованных ZFS-пулов с помощью файла ключа после загрузки.

*   Создай сервис:
   ```bash
   nano /etc/systemd/system/zfs-load-key.service
   ```
   Добавь следующее:

   ```ini
   [Unit]
   Description=Load encryption keys
   DefaultDependencies=no
   After=zfs-import.target
   Before=zfs-mount.service

   [Service]
   Type=oneshot
   RemainAfterExit=yes
   ExecStart=/usr/bin/zfs load-key -a
   StandardInput=tty-force

   [Install]
   WantedBy=zfs-mount.service
   ```

*   Включи сервис:
   ```bash
   systemctl enable zfs-load-key.service
   ```

Настрой разблокировку ZFS-корневого раздела через SSH.

*   Установи пакеты:
   ```bash
   apt update && apt install dropbear-initramfs busybox
   ```
*   Добавь публичный ключ в dropbear:
   ```bash
   nano /etc/dropbear-initramfs/authorized_keys
   ```
   Вставь свой публичный ключ в этой строке.
*   Отредактируй конфигурацию initramfs-dropbear:
   ```bash
   nano /etc/dropbear-initramfs/config
   ```
   Измени `#DROPBEAR_OPTIONS=` на `DROPBEAR_OPTIONS="-p 10022 -j -k -c zfsunlock"`
*   Перестрой initramfs:
   ```bash
   update-initramfs -u
   ```

Коревой раздел можно будет разблокировать по SSH на IP 192.168.43.22 порту 10022, войдя в систему как root с помощью файла приватного ключа.

Спасибо за инструкции! Я выполнил шифрование набора данных pve-1 (корневая файловая система) и также для rpool/data. Затем я настроил разблокировку zfs root через SSH/dropbear, и это тоже работает.

1.) Я не понимаю, зачем мне делать "zfs create -o encryption=aes-256-gcm -o keyformat=passphrase rpool/data" и почему я не получаю запрос на ввод другого ключа позже при загрузке pve, помимо запроса ключа для разблокировки root при загрузке. Это потому, что я указал одно и то же значение ключа для тестирования?

2.) Почему я получаю предупреждение и ошибку при выполнении update-initramfs -u?
Код: root@pve:~# update-initramfs -u
update-initramfs: Generating /boot/initrd.img-6.2.16-3-pve
cryptsetup: ERROR: Couldn't resolve device rpool/ROOT/pve-1
cryptsetup: WARNING: Couldn't determine root device
Running hook script 'zz-proxmox-boot'..
Re-executing '/etc/kernel/postinst.d/zz-proxmox-boot' in new private mount namespace..
Copying and configuring kernels on /dev/disk/by-uuid/XXXX-XXXX
       Copying kernel and creating boot-entry for 6.2.16-3-pve
Copying and configuring kernels on /dev/disk/by-uuid/XXXX-XXXX
       Copying kernel and creating boot-entry for 6.2.16-3-pve

Решил использовать новые зашифрованные наборы данных с папкой скрытого ключа и zfs-load-key.service. Это приводит к одному запросу пароля при загрузке PVE (root fs), после чего новые наборы данных монтируются. В завершение, следуя инструкциям "configure ZFS root unlocking through SSH", все это работает безупречно с вводом ключа по SSH. Правда, пути немного изменились в последней версии Dropbear, так что инструкцию выше придётся интерпретировать по ситуации. Попробую найти время, чтобы задокументировать все шаги — от установки PVE до настройки Dropbear — в ближайшие дни, чтобы получилось одно цельное руководство по этому подходу.

Потому что корневая файловая система ("pve-1" dataset) зашифрована с помощью passphrase, который ты вводишь в SSH/консоли при загрузке ноды. Эта корневая файловая система затем будет расшифрована. На этой расшифрованной корневой файловой системе хранится keyfile, необходимый для разблокировки "data" dataset. Сервис systemd будет пытаться разблокировать все зашифрованные dataset при загрузке. Если passphrase отсутствует, он попросит тебя ввести его. Если дан keyfile, он не будет спрашивать и просто загрузит ключ из этого файла. Без ввода passphrase для корневой файловой системы сам keyfile тоже будет зашифрован, поэтому и "data", и "pve-1" будут зашифрованы. Я выбрал такой подход, чтобы тебе не приходилось вводить два passphrase при загрузке сервера. Это нормально и можешь не обращать внимания. Документация ZFS говорит тебе делать это на случай, если ты не хочешь видеть эти предупреждения, но тогда разблокировка LUKS через dropbear работать не будет: Да, но только при использовании passphrase для "data". При использовании keyfile он просто загрузит ключ из этого файла без необходимости ввода passphrase. Пока ты хранишь keyfile в зашифрованном месте (например, на зашифрованной корневой файловой системе), использование keyfile для "data" вполне приемлемо.

Этот туториал получился очень длинным (ну страниц сорок, потому что я много объяснил про ZFS). Потом я забросил его, потому что появились другие дела, а пока я переустановил свои PVE-сервера и сделал шифрование немного по-другому, так что кое-что нужно будет обновить. Мне все еще нужно найти время отредактировать существующие главы туториала и написать последние несколько отсутствующих глав. Были еще и некоторые проблемы, для которых никто не нашел хорошего решения, но я все равно считаю, что они важны. Например, выглядит так, будто нет опции для зеркалирования swap без аппаратного RAID, и я бы очень хотел осветить тему зашифрованного зеркалированного swap-раздела.