Аспро: ЛайтШоп [тема: [ТУТОРИАЛ] virtiofsd в PVE 8.0.x]

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 23 Sep 2023 11:43:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Приятно, но плагины выглядят немного заброшенными! Я склоняюсь к этому плагину glusterfs-volume.
23.09.2023 11:43:00, Drallas.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 23 Sep 2023 11:35:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нужно это ещё погуглить, или надежда на то, что найдется хороший разбор где-нибудь!
23.09.2023 11:35:00, Drallas.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 23 Sep 2023 11:34:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это (не так уж и плохо) на SSD пулах с кодированием стиранием 3+1!
23.09.2023 11:34:00, Drallas.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 23 Sep 2023 11:33:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@scyto Кажется, теперь работает! Я успешно смонтировал (тестовую) папку CephFS через virtiofs в одну из моих виртуальных машин, и теперь могу читать данные из этой папки CephFS. Информация о том, как это настроить, разбросана, поэтому я написал свои собственные инструкции. Шаг 1. Инструкция: Создание пулов CephFS с кодированием стирания Шаг 2. Инструкция: Монтирование томов в Proxmox VM с virtiofs Кстати, это на GitHub Gists, так как я планирую их обновлять, когда узнаю больше или улучшу.
23.09.2023 11:33:00, Drallas.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 23 Sep 2023 00:04:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Интересно, плагин Docker CSI Driver для CephFS стоит попробовать, но раньше были проблемы, не понимал, как подключиться к нашей loopback Ceph-сети. Еще планирую использовать CephFS для медиа и файлов, так что virtiofs тоже понадобится.
23.09.2023 00:04:00, Drallas.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 22 Sep 2023 23:39:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, действительно так, спасибо! Я тоже последние 24 часа изучал cephFS и docker, так что теперь чувствую себя опасным, думая, что знаю, о чем говорю, хотя на самом деле это не так. Что думаешь об использовании одного из этих (поскольку драйвер CSI кажется еще не протестирован...) вместо попыток использовать virtiofs? Мои мысли в том, что FUSE-клиент/ядро, работающие в VM хоста docker, будут отправлять свои коммуникации вниз (вверх?) по стеку сетевых технологий Qemu, через vmbr0 прямо к ближайшему ceph monitor (надеюсь, к самому себе, так как это домашняя лаборатория, где хосты Qemu и ceph хосты - одни и те же узлы. То есть, трафик никогда не должен покидать ядро, или, скорее, никогда не должен достигать физического уровня, и должен быть на скорости памяти?) https://github.com/Brindster/docker-plugin-cephfs https://github.com/flaviostutz/cepher https://gitlab.com/n0r1sk/docker-volume-cephfs
22.09.2023 23:39:00, scyto.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 22 Sep 2023 22:33:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я попробовал это, пока что без успеха. Я могу запустить vm, с virtiofsd, загруженным, активным и работающим на хосте. Когда я пытаюсь создать точку монтирования на VM, она не создается: Bash: root@lnxsrv01:~# mount -t virtiofs mnt_pve_cephfs_docker /mnt/docker
mount: /mnt/docker: wrong fs type, bad option, bad superblock on mnt_pve_cephfs_docker, missing codepage or helper program, or other error. Но то же самое, когда я использую файловую систему EXT4 хоста. @scyto: я сделал небольшой Write-Up: virtiofs.md, возможно, это поможет тебе!
22.09.2023 22:33:00, Drallas.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 01 Sep 2023 10:16:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
О, интересно, спасибо, что поделился. Это позволит мне передавать Ceph тома гостевой системе?
01.09.2023 10:16:00, scyto.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 01 Sep 2023 03:42:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Добавил Code: RuntimeDirectory=virtiofsd в systemd unit generation выше, иначе при перезагрузке /run/virtiofsd не существует, и VM не запускается.
01.09.2023 03:42:00, oztiks.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Mon, 21 Aug 2023 09:17:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за скрипт, совместимый с Rust! Сегодня попробую обновиться до Proxmox8 + Rust, у меня проблемы с "слишком большим количеством файлов" для некоторых ВМ, несмотря на то, что LimitNOFile установлен в бесконечность в systemd.

Код: `$conf->{args} = undef if $conf->{args} =~ /^$/;`

Да, я убрал `$conf->{args} = undef if $conf->{args} =~ /^$/;` вчера. Похоже, идея была полностью удалить `args` из конфига, да. Это не так уж и нужно, так что все в порядке.

Редактирую: Успешно обновился до Proxmox8 и использую новый скрипт выше.
21.08.2023 09:17:00, scr4tchy.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 19 Aug 2023 06:35:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, это была одна из проблем, с которой я столкнулся, когда пытался настроить virtiofsd в новой VM в начале этого месяца, впервые за год, но я просто проигнорировал её (запустил с hookscript один раз, а потом удалил hookscript из конфигурации VM, так как аргументы всё равно остались, и вручную активировал systemd юниты) на время. И спасибо @oztiks, что попробовал это с PVE 8! Обязательно сохраню твой пост для справки, когда доберусь до обновления. Думаю, это должно было убрать параметр `args` из файла конфигурации VM, если он пустой. Мой скрипт должен был просто временно обновлять аргументы VM перед запуском, но, кажется, часть с очисткой сломалась или я так и не заставил её работать как надо. Чёрт, уж не помню точно, что делал 15 месяцев назад, лол.
19.08.2023 06:35:00, sikha.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 23 Sep 2023 00:21:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Кажется, я понял, как это работает... Я неделю ломал голову, а оказалось все просто. Я просто добавил это на свой роутер Теперь любые ВМ, работающие на vmbr0 и имеющие IPv6-адрес в моей локальной сети, могут общаться с моими 3 мониторами в моей приватной Ceph-сети. Трафик никогда не попадет на медленные сети – он либо останется в ядре/loopback (это моя теория) и пойдет к ноде, на которой запущена ВМ, со скоростью памяти, либо, в худшем случае, будет маршрутизироваться через приватную публичную сеть Ceph к одной из других нод. (Моя публичная и приватная сети объединены, так как это трехнодовая домашняя лаборатория с использованием Thunderbolt-net mesh). Роутер был быстрым и простым способом протестировать, конечно, я мог бы настроить эти маршруты вручную внутри каждой ВМ, если бы заботился об изоляции. Адреса fc00:: - это сеть Ceph mesh, которая не имеет соединения ни с чем, кроме каждой ноды. Адреса 2600:: – это IPv6-адреса нод vmbr0 и они полностью маршрутизируемы в моей локальной сети.
23.09.2023 00:21:00, scyto.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 18 Aug 2023 23:21:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всё работает. Оставляю последний пост для потомков, если другие не предложат его удалить (прошу прощения, но я больше не часто заглядываю в форумы). В любом случае — ОГРОМНОЕ СПАСИБО, @sikha! Вот мой изменённый скрипт для Proxmox 8:

Perl:

```perl
#!/usr/bin/perl

use strict;
use warnings;

my %associations = (
102 => ['/mnt/local'],
# 101 => ['/zpool/audio', '/zpool/games'],
);

use PVE::QemuServer;

use Template;
my $tt = Template->new;

print "GUEST HOOK: " . join(' ', @ARGV) . "\n";

my $vmid = shift;
my $conf = PVE::QemuConfig->load_config($vmid);
my $vfs_args_file = "/run/$vmid.virtfs";
my $virtiofsd_dir = "/run/virtiofsd/";
my $DEBUG = 1;
my $phase = shift;

my $unit_tpl = "[Unit]
Description=virtiofsd filesystem share at [% share %] for VM %i
StopWhenUnneeded=true

[Service]
Type=simple
RuntimeDirectory=virtiofsd
PIDFile=/run/virtiofsd/.run.virtiofsd.%i-[% share_id %].sock.pid
ExecStart=/usr/libexec/virtiofsd --log-level debug --socket-path /run/virtiofsd/%i-[% share_id %].sock --shared-dir [% share %] --cache=auto --announce-submounts --inode-file-handles=mandatory

[Install]
RequiredBy=%i.scope\n";

if ($phase eq 'pre-start') {
print "$vmid is starting, doing preparations.\n";

my $vfs_args = "-object memory-backend-memfd,id=mem,size=$conf->{memory}M,share=on -numa node,memdev=mem";
my $char_id = 0;

# TODO: Have removal logic. Probably need to glob the systemd directory for matching files.
for (@{$associations{$vmid}}) {
my $share_id = $_ =~ s/^\///r =~ s/\//_/gr;
my $unit_name = 'virtiofsd-' . $share_id;
my $unit_file = '/etc/systemd/system/' . $unit_name . '@.service';
print "attempting to install unit $unit_name...\n";
if (not -d $virtiofsd_dir) {
print "ERROR: $virtiofsd_dir does not exist!\n";
}
else { print "DIRECTORY DOES EXIST!\n"; }

if (not -e $unit_file) {
$tt->process(\$unit_tpl, { share => $_, share_id => $share_id }, $unit_file)
|| die $tt->error(), "\n";
system("/usr/bin/systemctl daemon-reload");
system("/usr/bin/systemctl enable $unit_name\@$vmid.service");
}
system("/usr/bin/systemctl start $unit_name\@$vmid.service");
$vfs_args .= " -chardev socket,id=char$char_id,path=/run/virtiofsd/$vmid-$share_id.sock";
$vfs_args .= " -device vhost-user-fs-pci,chardev=char$char_id,tag=$share_id";
$char_id += 1;
}

open(FH, '>', $vfs_args_file) or die $!;
print FH $vfs_args;
close(FH);

print $vfs_args . "\n";
if (defined($conf->{args}) && not $conf->{args} =~ /$vfs_args/) {
print "Appending virtiofs arguments to VM args.\n";
$conf->{args} .= " $vfs_args";
} else {
print "Setting VM args to generated virtiofs arguments.\n";
print "vfs_args: $vfs_args\n" if $DEBUG;
$conf->{args} = " $vfs_args";
}
PVE::QemuConfig->write_config($vmid, $conf);
}
elsif($phase eq 'post-start') {
print "$vmid started successfully.\n";
my $vfs_args = do {
local $/ = undef;
open my $fh, "<", $vfs_args_file or die $!;
<$fh>;
};

if ($conf->{args} =~ /$vfs_args/) {
print "Removing virtiofs arguments from VM args.\n";
print "conf->args = $conf->{args}\n" if $DEBUG;
print "vfs_args = $vfs_args\n" if $DEBUG;
$conf->{args} =~ s/\ *$vfs_args//g;
print $conf->{args};
$conf->{args} = undef if $conf->{args} =~ /^$/;
print "conf->args = $conf->{args}\n" if $DEBUG;
PVE::QemuConfig->write_config($vmid, $conf) if defined($conf->{args});
}
}
elsif($phase eq 'pre-stop') {
#print "$vmid will be stopped.\n";
}
elsif($phase eq 'post-stop') {
#print "$vmid stopped. Doing cleanup.\n";
} else {
die "got unknown phase '$phase'\n";
}

exit(0);
```

Я изменил:

1. Команду `ExecStart` с новыми аргументами для `virtiofsd` (старые аргументы не работали, поэтому новые аргументы могут потребовать небольшой настройки).
2. Добавил строку `mkdir /run/virtiofsd/` если она не существует (иначе `virtiofsd` не смог бы записать свой сокет).
3. Функцию `post-start`, чтобы не перезаписывать конфигурацию (`PVE::QemuConfig->write_config`), если она не определена.
18.08.2023 23:21:00, oztiks.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 18 Aug 2023 22:30:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, что поделились этим! При запуске виртуальной машины (Proxmox 8) возникает ошибка:
```
qm start 102
GUEST HOOK: 102 pre-start
102 запускается, выполняются подготовительные действия.
попытка установить unit virtiofsd-mnt_local_...
ДИРЕКТОРИЯ УЖЕ СУЩЕСТВУЕТ!
-object memory-backend-memfd,id=mem,size=2048M,share=on -numa node,memdev=mem -chardev socket,id=char0,path=/run/virtiofsd/102-mnt_local_.sock -device vhost-user-fs-pci,chardev=char0,tag=mnt_local_
Установка аргументов виртуальной машины в сгенерированные аргументы virtiofs.
unable to parse value of 'args' - got undefined value
GUEST HOOK: 102 post-start
102 успешно запущен.
Удаление аргументов virtiofs из аргументов виртуальной машины.
hookscript error for 102 on post-start: command '/var/lib/vz/snippets/virtiofs-hook.pl 102 post-start' failed: exit code 255
```

Любые мысли? Я не вижу, почему это происходит. Я добавил отладочный вывод, и:

Perl:
```
elsif($phase eq 'post-start') {
print "$vmid started successfully.\n";
my $vfs_args = do {
local $/ = undef;
open my $fh, "<", $vfs_args_file or die $!;
<$fh>;
};

if ($conf->{args} =~ /$vfs_args/) {
print "Removing virtiofs arguments from VM args.\n";
print "conf->args = $conf->{args}\n" if $DEBUG;
print "vfs_args = $vfs_args\n" if $DEBUG;
$conf->{args} =~ s/\ *$vfs_args//g;
print $conf->{args};
$conf->{args} = undef if $conf->{args} =~ /^$/;
print "conf->{args} = $conf->{args}\n" if $DEBUG;
PVE::QemuConfig->write_config($vmid, $conf);
}
```
Результат:
```
qm start 102
GUEST HOOK: 102 pre-start
102 запускается, выполняются подготовительные действия.
попытка установить unit virtiofsd-mnt_local_...
ДИРЕКТОРИЯ УЖЕ СУЩЕСТВУЕТ!
-object memory-backend-memfd,id=mem,size=2048M,share=on -numa node,memdev=mem -chardev socket,id=char0,path=/run/virtiofsd/102-mnt_local_.sock -device vhost-user-fs-pci,chardev=char0,tag=mnt_local_
Установка аргументов виртуальной машины в сгенерированные аргументы virtiofs.
vfs_args: -object memory-backend-memfd,id=mem,size=2048M,share=on -numa node,memdev=mem -chardev socket,id=char0,path=/run/virtiofsd/102-mnt_local_.sock -device vhost-user-fs-pci,chardev=char0,tag=mnt_local_
Use of uninitialized value in concatenation (.) or string at /var/lib/vz/snippets/virtiofs-hook.pl line 96.
unable to parse value of 'args' - got undefined value
GUEST HOOK: 102 post-start
102 успешно запущен.
Удаление аргументов virtiofs из аргументов виртуальной машины.
conf->args = -object memory-backend-memfd,id=mem,size=2048M,share=on -numa node,memdev=mem -chardev socket,id=char0,path=/run/virtiofsd/102-mnt_local_.sock -device vhost-user-fs-pci,chardev=char0,tag=mnt_local_
vfs_args = -object memory-backend-memfd,id=mem,size=2048M,share=on -numa node,memdev=mem -chardev socket,id=char0,path=/run/virtiofsd/102-mnt_local_.sock -device vhost-user-fs-pci,chardev=char0,tag=mnt_local_
conf->{args} =
hookscript error for 102 on post-start: command '/var/lib/vz/snippets/virtiofs-hook.pl 102 post-start' failed: exit code 255
```

Я просто изо всех сил пытаюсь понять, почему post-start не удается. Кажется, что Perl: `$conf->{args} = undef if $conf->{args} =~ /^$/;` отменяет переменную как и предполагалось, но я не понимаю намерений.
18.08.2023 22:30:00, oztiks.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 18 Aug 2023 10:54:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ого, огромное спасибо! У меня было несколько ZFS virtio shares, которые я настраивал вручную в args/systemd, но всегда боялся этого процесса. С помощью хук-скрипта теперь я могу настроить это на всем парке, и наконец-то убедиться, что те несколько директорий, которые мне важны в каждой VM, действительно могут находиться в моем ZFS пуле, и делать их резервное копирование отдельно, а не ужасающе все целые VMs.

Редактирую: Интересно, что конфиг, обновленный post-start, не перегружается перед запуском VM, поэтому аргументы отсутствуют в команде, выполняемой для запуска VM, несмотря на то, что аргументы есть в файле конфига. Но это небольшое изменение в Proxmox это исправляет.
18.08.2023 10:54:00, scr4tchy.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Fri, 18 Aug 2023 00:36:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
virtiofs по сути предоставляет KVM-эквивалент bind mounts в LXC, работающий как нативно (читай: не тормозит из-за сетевого протокола), для монтирования хранилища хоста внутри гостевой системы как общей файловой системы. Те же самые сценарии использования, что и для этих bind mounts, применимы и здесь.
18.08.2023 00:36:00, sikha.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Thu, 17 Aug 2023 15:28:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Для чего это можно использовать в продакшене? У кого есть крутые примеры использования, о которых я мог забыть?
17.08.2023 15:28:00, jsterr.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Thu, 17 Aug 2023 15:02:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я переключился на версию Rust для virtiofsd в PVE 7 и собирался написать статью о процессе, но так и не успел. Последний раз я этим занимался в мае прошлого года, поэтому мало что помню, но я использую следующий Perl-скрипт, чтобы создавать шаблонный файл службы systemd для запуска virtiofsd в определенном каталоге, а затем активирую его для определенного VMID (чтобы он запускался при запуске виртуальной машины и останавливался при ее остановке) и добавляю аргументы в конфигурацию виртуальной машины. Сейчас он использует жестко заданные ассоциации и не имеет никаких шагов очистки, но это может быть полезно как отправная точка для кого-то другого (или я в конце концов займусь его завершением). Альтернативно, если это можно реализовать непосредственно в PVE, это может меня мотивировать исправить и отправить changeset edit: кстати, там уже есть реализация в очереди, которая не использует systemd scope виртуальной машины.

Perl: #!/usr/bin/perl

use strict;
use warnings;

my %associations = (
100 => ['/zpool/audio', '/zpool/books', '/zpool/games', '/zpool/work'],
101 => ['/zpool/audio', '/zpool/games'],
);

use PVE::QemuServer;

use Template;
my $tt = Template->new;

print "GUEST HOOK: " . join(' ', @ARGV) . "\n";

my $vmid = shift;
my $conf = PVE::QemuConfig->load_config($vmid);
my $vfs_args_file = "/run/$vmid.virtfs";

my $phase = shift;

my $unit_tpl = "[Unit]
Description=virtiofsd filesystem share at [% share %] for VM %i
StopWhenUnneeded=true

[Service]
Type=simple
PIDFile=/run/virtiofsd/.run.virtiofsd.%i-[% share_id %].sock.pid
ExecStart=/usr/lib/kvm/virtiofsd -f --socket-path=/run/virtiofsd/%i-[% share_id %].sock -o source=[% share %] -o cache=always

[Install]
RequiredBy=%i.scope\n";

if ($phase eq 'pre-start') {
print "$vmid начинается, выполняются подготовительные действия.\n";

my $vfs_args = "-object memory-backend-memfd,id=mem,size=$conf->{memory}M,share=on -numa node,memdev=mem";
my $char_id = 0;

# TODO: Необходимо реализовать логику удаления. Вероятно, потребуется проанализировать каталог systemd на предмет совпадающих файлов.
for (@{$associations{$vmid}}) {
my $share_id = $_ =~ s/^\///r =~ s/\//_/gr;
my $unit_name = 'virtiofsd-' . $share_id;
my $unit_file = '/etc/systemd/system/' . $unit_name . '@.service';
print "попытка установить unit $unit_name...\n";
if (not -e $unit_file) {
$tt->process(\$unit_tpl, { share => $_, share_id => $share_id }, $unit_file)
|| die $tt->error(), "\n";
system("/usr/bin/systemctl daemon-reload");
system("/usr/bin/systemctl enable $unit_name\@$vmid.service");
}
system("/usr/bin/systemctl start $unit_name\@$vmid.service");
$vfs_args .= " -chardev socket,id=char$char_id,path=/run/virtiofsd/$vmid-$share_id.sock";
$vfs_args .= " -device vhost-user-fs-pci,chardev=char$char_id,tag=$share_id";
$char_id += 1;
}

open(FH, '>', $vfs_args_file) or die $!;
print FH $vfs_args;
close(FH);

print $vfs_args . "\n";
if (defined($conf->{args}) && not $conf->{args} =~ /$vfs_args/) {
print "Добавление аргументов virtiofs в аргументы VM.\n";
$conf->{args} .= " $vfs_args";
} else {
print "Установка аргументов VM для сгенерированных аргументов virtiofs.\n";
$conf->{args} = " $vfs_args";
}
PVE::QemuConfig->write_config($vmid, $conf);
}
elsif($phase eq 'post-start') {
print "$vmid успешно запущен.\n";
my $vfs_args = do {
local $/ = undef;
open my $fh, "<", $vfs_args_file or die $!;
<$fh>;
};

if ($conf->{args} =~ /$vfs_args/) {
print "Удаление аргументов virtiofs из аргументов VM.\n";
$conf->{args} =~ s/\ *$vfs_args//g;
print $conf->{args};
$conf->{args} = undef if $conf->{args} =~ /^$/;
PVE::QemuConfig->write_config($vmid, $conf);
}
}
elsif($phase eq 'pre-stop') {
#print "$vmid будет остановлен.\n";
}
elsif($phase eq 'post-stop') {
#print "$vmid остановлен. Выполняется очистка.\n";
} else {
die "получена неизвестная фаза '$phase'\n";
}

exit(0); Я еще не использовал это с PVE 8, однако. Если я правильно понимаю, ключевое различие - это изменение `/usr/lib/kvm/virtiofsd` на `/usr/libexec/virtiofsd`. Но я в конечном итоге протестирую это на PVE 8 и отчитаюсь.
17.08.2023 15:02:00, sikha.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Sat, 23 Sep 2023 00:24:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Избыточные медиафайлы — прикольно! Я всё равно, возможно, попробую virtioFS (хочу протестировать и это, и плагины Docker, чтобы понять, есть ли ощутимая разница). Твой скрипт делает это более хрупким, чем если бы это было встроено?
23.09.2023 00:24:00, scyto.

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x

Wed, 12 Jul 2023 23:55:00 +0300

[ТУТОРИАЛ] virtiofsd в PVE 8.0.x Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
virtiofsd используется для "передачи" частей файловой системы хоста в виртуальную машину с "локальной файловой системой и производительностью". Proxmox перешёл на версию virtiofsd на основе Rust в PVE 8, расположенную здесь. Он установлен как отдельный пакет под названием "virtiofsd" в PVE 8, тогда как другая, не основанная на Rust версия virtiofsd, была "включена" в PVE 7.x. Обратите внимание, что существует несколько интерфейсов и бэкендов, которые можно использовать. То, что описано ниже, работает для меня. Обязательно хорошо протестируйте, прежде чем что-либо переводить в "продакшн". Как было отмечено недавно (спасибо @fabian), будущая версия PVE 8.x будет иметь поддержку WebUI для virtiofsd (см. патч здесь). Я полностью ожидаю, что эти инструкции будут иметь "ограниченный срок службы", но до тех пор, ниже — что я сделал, чтобы реализовать новый virtiofsd в PVE 8.0.x в четырех областях: .conf изменения virtiofsd на хосте добавление скрипта для запуска virtiofsd монтирование внутри Linux VM

1. Добавьте строку "args:" в файл VMID.conf виртуальной машины, расположенный в /etc/pve/qemu-server. Пожалуйста, обратите внимание, что документация здесь указывает, что это только для экспертов. Bash: args: -chardev socket,id=virtfs0,path=/run/changme.sock -device vhost-user-fs-pci,queue-size=1024,chardev=virtfs0,tag=changeme_tag -object memory-backend-file,id=mem,size=32768M,mem-path=/dev/shm,share=on -numa node,memdev=mem Замените " changeme.sock ", " changeme_tag " и " size " выше на соответствующие значения, где: changeme.sock = полное имя файла сокета, используемого для IPC между VM и хостом changeme_tag = имя, используемое внутри VM для команды монтирования или в /etc/fstab size = размер оперативной памяти, используемой VM (протестировано только с размером, равным оперативной памяти VM) НОТА: после добавления строки "args:" виртуальная машина не запустится, если файл сокета не существует. virtiofsd создает файл сокета (см. следующий шаг). Убедитесь, что args: является частью конфигурации с помощью команды: qm config VMID И чтобы "увидеть" способ, которым KVM/Qemu запускает VM: qm showcmd VMID --pretty Последние 3-4 строки должны содержать компоненты строки args:.

2. Запустите virtiofsd на хосте. Чтобы протестировать, virtiofsd можно запустить вручную, но его нужно запустить перед VM, чтобы он мог создать файл сокета *.sock, на который ссылается "args:". Чтобы запустить вручную, используйте: /usr/libexec/virtiofsd --syslog --socket-path /run/changeme.sock --shared-dir /dir/to/share/with/vm --announce-submounts --inode-file-handles=mandatory Замените: changeme.sock на имя, используемое в args: в шаге (1) /dir/to/share/with/vm на основную папку хоста, экспонируемую для VM. Вместо "--syslog" используйте "--log-level debug" для устранения неполадок. Для дополнительных/других вариантов см. файл README документации virtiofsd здесь. Чтобы запустить его вручную как демон, добавьте префикс nohup и фон амперсанд (&): nohup command_above & Особая НОТА, эта версия virtiofsd должна быть "двойной разветвленной" для запуска как демон. Это означает, что после запуска будет два процесса virtiofsd, "родительский" и "дочерний". Если вы изучите PID, PID "прародительского" должен быть 1. "Прародительский" должен быть PID 1. Подробнее об этом в следующем разделе. После запуска запустите VM как обычно и посмотрите, как смонтировать общую папку в Linux в шаге (4).

3. Запустите virtiofsd в скрипте запуска. Это автоматически запустит virtiofsd перед VM. Если необходимо, см. Скрипты запуска в документации PVE здесь. Из четырех фаз скрипта запуска virtiofsd должен быть запущен в фазе pre-start. Если ваши скрипты запуска написаны на perl, я не могу прокомментировать, как запустить virtiofsd, поскольку все мои скрипты запуска написаны на bash. (Пожалуйста, не стесняйтесь добавить эквивалент на perl в комментариях). Если ваши скрипты запуска написаны на Bash, запуск virtiofsd может быть проблематичным, поскольку он должен быть двойной разветвленной. Для полного охвата того, что это означает, см. здесь. Попытав много команд, включая: Bash here документы, выполнение этого здесь дока, eval(), setsig(1), nohup и другие, способ, который я нашел, который работал, это создание одноразового сервисного юнита systemd с помощью systemd-run(1). В фазе "pre-start" вашего bash-скрипта запуска запустите virtiofsd с помощью: Bash: systemd-run --unit=changeme_service /usr/libexec/virtiofsd --syslog --socket-path /run/changeme.sock --shared-dir /dir/to/share/with/vm --announce-submounts --inode-file-handles=mandatory Замените: changeme_service на имя сервиса systemd по вашему выбору changeme.sock на имя, используемое в args: в шаге (1) /dir/to/share/with/vm для основной папки хоста, экспонируемой для VM. После этого сервис systemd можно будет изучить с помощью: systemctl status changeme_service # или имя, которое вы изменили его на

4. Монтируйте внутри Linux VM. Чтобы смонтировать его вручную, создайте (или определите) каталог для использования в качестве точки монтирования: mkdir /mnt/mountpoint Затем выполните следующую команду монтирования, используя changeme_tag, определенный в шаге 1: mount -t virtiofs changeme_tag /mnt/mountpoint Протестируйте с помощью: ls -l /mnt/mountpoint Если что-то не так, команда будет казаться "зависшей". После успешной работы и рабочего скрипта запуска добавьте монтирование в /etc/fstab навсегда, как это: Code: changeme_tag /mnt/mountpoint virtiofs defaults См. fstab(5) для других опций, если это необходимо. Последнее, virtiofsd автоматически завершит работу после остановки VM, которая его использует. Нет необходимости останавливать его из скрипта запуска. Это по дизайну.
12.07.2023 23:55:00, BobC.