http://proxmox.su Новое в теме Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 05 Apr 2026 10:33:36 +0300 Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ок, но я хочу использовать mdraid только для диска моей установки Proxmox, остальные диски буду использовать для хранения и запуска ВМ. Тогда я думаю, mdraid вполне безопасен и подходит. Так?
26.03.2023 00:22:00, melroy89.]]> http://proxmox.su/forum/messages/forum63/message332559/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332559/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Sun, 26 Mar 2023 00:22:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Команда Proxmox уже объясняла в других обсуждениях, почему официально не поддерживает mdraid. Есть некоторые случаи, когда mdraid может привести к потере данных. Например, смотрите здесь: https://forum.proxmox.com/threads/z...ty-and-reliability-of-zfs.116871/#post-505697
25.03.2023 23:51:00, Dunuin.]]> http://proxmox.su/forum/messages/forum63/message332558/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332558/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Sat, 25 Mar 2023 23:51:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня похожие проблемы, не хочу использовать Btrfs (его официально забросили в Red Hat и убрали из RHEL 8). Также не хочу использовать ZFS, так как он слишком быстро убивает мои SSD. Вместо этого хочу использовать MDADM software RAID под Linux. К счастью, есть несколько руководств: https://www.howtoforge.com/proxmox-2-with-software-raid или https://www.petercarrero.com/content/2012/04/22/adding-software-raid-proxmox-ve-20-install. Надеюсь, Proxmox в будущем всё-таки поддержит MDADM нативно в своём установщике.
25.03.2023 23:18:00, melroy89.]]> http://proxmox.su/forum/messages/forum63/message332557/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332557/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Sat, 25 Mar 2023 23:18:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за руководство. Но это не потребует dmraid тоже? "apt install dmraid" перед update-initramfs? Еще я добавил это в /etc/modules: dm_mirror raid1 dm_raid raid456 dm-region-hash dm-log
20.02.2023 20:17:00, befc558.]]> http://proxmox.su/forum/messages/forum63/message332556/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332556/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Mon, 20 Feb 2023 20:17:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
8K должно быть достаточно. Можно уменьшить до 4K, но тогда перестанет работать блочная компрессия, потому что ZFS не может хранить данные с блоком меньше 4K при использовании ashift=12. При использовании volblocksize 8K можно хотя бы сэкономить 50% места для блоков, которые более чем на 50% сжимаются.
31.10.2022 10:58:00, Dunuin.]]> http://proxmox.su/forum/messages/forum63/message332555/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332555/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Mon, 31 Oct 2022 10:58:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, дружище. Есть ли хороший способ добиться максимальной производительности на одиночном vdev зеркале с 2 дисками? Сейчас использую vblock размером 8k, но не уверен, что это правильное значение. Может, стоит использовать разные volblock для каждой службы, например, для PostgreSQL один датасет с 8k, а для ОС или файлового хранилища — другой.
31.10.2022 10:52:00, pgro.]]> http://proxmox.su/forum/messages/forum63/message332554/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332554/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Mon, 31 Oct 2022 10:52:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Тогда ты можешь использовать только зеркало из 1 vdev или зеркало из 2 vdev с полосами, если используешь shift=12. Для всех raidz1/2/3 требуется хотя бы volblocksize в 16K, если не хочешь тратить слишком много места. И с этим производительность будет совсем плохая.
29.10.2022 21:43:00, Dunuin.]]> http://proxmox.su/forum/messages/forum63/message332553/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332553/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Sat, 29 Oct 2022 21:43:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Алекс! Спасибо за помощь и потраченное время. Похоже, что для Postgresql мне нужно будет провести бенчмарки, но сейчас мой Psql блок равен 8k, а Proxmox по умолчанию тоже использует 8k. Ты думаешь, мне нужно что-то здесь подкручивать?
29.10.2022 21:14:00, pgro.]]> http://proxmox.su/forum/messages/forum63/message332552/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332552/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Sat, 29 Oct 2022 21:14:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Тебе нужно создавать разные датасеты и добавлять их как отдельные ZFS-хранилища. По одному хранилищу на каждый разный volblocksize, который ты хочешь использовать. Иначе PVE при восстановлении бэкапов или миграции между нодами будет использовать неправильный volblocksize. Для моего 5-дискового raidz1 с ashift равным 12 это 32K. Да, сделал 155 бенчмарков в этой теме. И износ SSD в ZFS действительно плох. Посмотри, например, вот здесь: Просто сравни "Write Amplification Total" слева между ZFS и LVM-Thin. У ZFS фактор от 35 до 62, а у LVM-Thin всего 8. Это значит, что запись 1ТБ 4К-синхронных записей в ZFS изнасилует SSD на 35-62 ТБ, а LVM-Thin — всего на 8ТБ. Значит, SSD, используемые с ZFS, будут умирать в 3-6 раз быстрее, чем при использовании LVM-Thin. Особенно при небольших случайных синхронных записях. С большими последовательными асинхронными записями износ тоже большой, но значительно меньше — иногда до коэффициента 3. И это все сделано с корпоративными SSD для интенсивных нагрузок с MLC NAND. Не хочу даже представлять, насколько хуже будет износ потребительских QLC SSD без Powerloss Protection при этих тестах. Поэтому я перенес своих неважных гостей с ZFS на LVM-Thin. Также видно, что raidz вызывает меньше записей, чем зеркала или зеркалированные массивы, так как накладные расходы меньше благодаря лучшему соотношению данных к паритету. Но Read Overhead в raidz намного хуже, так как ты вынужден использовать больший volblocksize. Но read amplification не изнашивает SSD меньше 32K, и ты потеряешь много места из-за накладных расходов на заполнение. Больше — и write amplification + read amplification станут еще хуже при любых нагрузках, таких как СУБД, которые выполняют записи меньшие размера, чем твой volblocksize. Нужно вычислить оптимальную точку баланса между потерянной емкостью и потерянной производительностью + износом SSD при небольших синхронных IO.
24.10.2022 15:49:00, Dunuin.]]> http://proxmox.su/forum/messages/forum63/message332551/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332551/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Mon, 24 Oct 2022 15:49:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всё пока выглядит отлично. А как ты справился со значением volblocksize? И какое оптимальное для тебя оказалось? Какие-нибудь бенчмарки запускал? Почему используешь 32K вместо 16 или большего значения?
24.10.2022 15:30:00, pgro.]]> http://proxmox.su/forum/messages/forum63/message332550/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332550/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Mon, 24 Oct 2022 15:30:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Код: root@Hypervisor:~# lsblk -f
ИМЯ                              ТИП ФС   ВЕРСИЯ МЕТКА             UUID                                     ДОСТУПНО ФСИСПОЛЬЗ ФСМОНТ
sda
├─sda1
├─sda2                            vfat   FAT32                      3E45-C742
├─sda3                            linux_raid_member 1.2      Hypervisor:0      b1f4608e-e986-17e9-eca2-dd21a148bbc0
│ └─md0                           ext4   1.0      boot              92bb126f-5732-4279-8a1c-36012f87ae18    149.8M    61% /boot
└─sda4                            linux_raid_member 1.2      Hypervisor:1      9ef382df-d617-bc50-d213-cf45f5401d4c
 └─md1                           crypto_LUKS 2                          3db015f7-6ca2-492e-9977-6a22e6f42e98
   └─md1_crypt                   LVM2_member LVM2 001                   X0EWNC-LSfQ-G7PK-jpMX-pcOT-odc9-6356KT
     ├─vgpmx-lvroot              xfs                        root              b452ef99-8055-4b6a-88e0-b5c744500f72        8G    62% /
     └─vgpmx-lvswap              swap   1                          9e5e6780-7896-4124-b082-8ea5dbe8f24e                  [SWAP]
sdb
├─sdb1
├─sdb2                            vfat   FAT32                      3E45-16FA                               285.4M     0% /boot/efi
├─sdb3                            linux_raid_member 1.2      Hypervisor:0      b1f4608e-e986-17e9-eca2-dd21a148bbc0
│ └─md0                           ext4   1.0      boot              92bb126f-5732-4279-8a1c-36012f87ae18    149.8M    61% /boot
└─sdb4                            linux_raid_member 1.2      Hypervisor:1      9ef382df-d617-bc50-d213-cf45f5401d4c
 └─md1                           crypto_LUKS 2                          3db015f7-6ca2-492e-9977-6a22e6f42e98
   └─md1_crypt                   LVM2_member LVM2 001                   X0EWNC-LSfQ-G7PK-jpMX-pcOT-odc9-6356KT
     ├─vgpmx-lvroot              xfs                        root              b452ef99-8055-4b6a-88e0-b5c744500f72        8G    62% /
     └─vgpmx-lvswap              swap   1                          9e5e6780-7896-4124-b082-8ea5dbe8f24e                  [SWAP]
sdc
├─sdc1                            zfs_member 5000     VMpool            15863678502274358828
└─sdc9
sdd
├─sdd1                            zfs_member 5000     VMpool            15863678502274358828
└─sdd9
sde
├─sde1                            zfs_member 5000     VMpool            15863678502274358828
└─sde9
sdf
├─sdf1                            zfs_member 5000     VMpool            15863678502274358828
└─sdf9
sdg
├─sdg1                            zfs_member 5000     VMpool            15863678502274358828
└─sdg9
sdh
└─sdh1                            crypto_LUKS 2                          6f304594-ff6f-4af4-b5ac-c0039f05ff0a
 └─lukslvm                       LVM2_member LVM2 001                   wLR7wJ-BpXT-21JR-yG7Z-hpsZ-4yuv-TXWbNn
   ├─vgluks-lvthin_tmeta
   │ └─vgluks-lvthin-tpool
   │   ├─vgluks-lvthin
   │   ├─vgluks-vm--121--disk--0 ext4   1.0                        c6917469-bacc-4d79-9c67-b1560f7b2415
   │   ├─vgluks-vm--136--disk--1 ext4   1.0                        75269409-d4a1-4c44-bad6-55d2aafe3508
   │   ├─vgluks-vm--106--disk--0
   │   ├─vgluks-vm--140--disk--0
   │   ├─vgluks-vm--140--disk--1
   │   ├─vgluks-vm--140--disk--2
   │   ├─vgluks-vm--140--disk--3
   │   └─vgluks-vm--140--disk--4
   └─vgluks-lvthin_tdata
     └─vgluks-lvthin-tpool
       ├─vgluks-lvthin
       ├─vgluks-vm--121--disk--0 ext4   1.0                        c6917469-bacc-4d79-9c67-b1560f7b2415
       ├─vgluks-vm--136--disk--1 ext4   1.0                        75269409-d4a1-4c44-bad6-55d2aafe3508
       ├─vgluks-vm--106--disk--0
       ├─vgluks-vm--140--disk--0
       ├─vgluks-vm--140--disk--1
       ├─vgluks-vm--140--disk--2
       ├─vgluks-vm--140--disk--3
       └─vgluks-vm--140--disk--4
sdi
├─sdi1                            ext2   1.0                        41f0279b-3c3b-47de-a30e-fe87aa3ab22c
├─sdi2
└─sdi5                            crypto_LUKS 2                          17bc4279-1c49-4f41-b0e7-3e3a152ca389
sda+sdb — мои системные диски, загружаются из Grub (раздел 1), раздел 1 (ESP) зарезервирован, но не используется и сложно переключиться из-за proxmox-boot-tool, который хочет, чтобы ESP был 512 МБ, а я его отформатировал только на 300 МБ. Раздел 3 — моя загрузочная система на mdadm raid1 (можно и больше). Раздел 4 — mdadm raid1 -> шифрование LUKS -> LVM -> LVi для swap и root. sdc, sdd, sde, sdf, sdg образуют зашифрованный пул raidz1 для моих гостей (не лучший вариант для IOPS, но достаточно быстрый для моей нагрузки и больше места и меньше износа SSD по сравнению со striped mirror). sdh — шифрование LUKS -> LVM -> LVM-Thin для моих гостей, которые выполняют синхронные записи, но содержат только неважные данные (Zabbix с MySQL для мониторинга, Graylog с MongoDB+Elasticsearch для сбора журналов, базы данных блокчейн с использованием SQLite), которые при этом сильно изнашивали бы SSD, если бы я запустил их на ZFS. Вместо этого я использую ZFS с LVM-Thin, и это экономит около 400 ГБ записи в день. sdi — зашифленный USB-накопитель Debian с LUKS, с которого я загружаю для резервного копирования всего sda и sdb на уровне блоков на мой PBS. Это не лучшая настройка, но то, что я сделал тогда. Сегодня я бы использовал зашифрованный ZFS-зеркало с systemd boot для системных дисков и 4x 400 ГБ SSD для ZFS-зеркала со смещением (striped) или 2x 800 ГБ SSD для ZFS-зеркала для хранения моих гостей. Вместо 5x 200 ГБ в raidz1, который я использую сейчас. Принудительный volblocksize 32 КБ просто слишком раздражает с raidz1. Но я все равно бы сохранил LVM-Thin для невзятных гостей (но, возможно, зеркалировал бы их mdadm raid1), потому что усиление записи ZFS (средний фактор 20 здесь) сильно бьет по SSD.
24.10.2022 14:52:00, Dunuin.]]> http://proxmox.su/forum/messages/forum63/message332549/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332549/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Mon, 24 Oct 2022 14:52:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Приятно, можно ли поделиться схемой разделов диска, просто чтобы понять, какая схема разделов используется? Может быть, с помощью `lsblk -f`?
24.10.2022 14:32:00, pgro.]]> http://proxmox.su/forum/messages/forum63/message332548/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332548/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Mon, 24 Oct 2022 14:32:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Наконец-то начал с установки Debian 11, без LVM в EXT4. 20 ГБ на систему в RAID 1 (ext4) mdadm для / , немного swap... и остальное в RAID 1 mdadm (ext4) для /var/lib/vz. Да, для RAID нужно скопировать файл *.EFI на две VFAT-партиции для UEFI-дисков (Sda1 и Sdb1) и, конечно, создать две записи в BIOS (если UUID диски не клонированы).
29.01.2022 10:30:00, afi.]]> http://proxmox.su/forum/messages/forum63/message332547/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332547/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Sat, 29 Jan 2022 10:30:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Предлагаю сделать raid1 из загрузочного раздела sda2 с sdb2. У меня тоже были проблемы с пунктом меню UEFI boot bios, в итоге я перезаписал fallback UEFI загрузчика Proxmox UEFI: cp /boot/efi/EFI/proxmox/grubx64.efi /boot/efi/EFI/BOOT/BOOTx64.EFI *todo на обоих загрузочных разделах sda2 и sdb2. С уважением, Эмильен.
27.01.2022 10:02:00, Emilien.]]> http://proxmox.su/forum/messages/forum63/message332546/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332546/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Thu, 27 Jan 2022 10:02:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я здесь, чтобы бросить бутылку в море. Не получается применить процедуру mdadm для Proxmox ve 7.1-8 после шага: Код: # Перенос данных с / dev / sda3 в / dev / md0
pvmove / dev / sda3 / dev / md0
Появляется сообщение об ошибке: Код: Недостаточно свободного места: требуется 127871 экстентов, но доступно только 127839.
Не удалось выделить зеркальные экстенты для pve/pvmove0.
Не удалось преобразовать LV pvmove в зеркальный. Мы тестировали на нескольких серверах PVE 7.1-8, и результат идентичный. Тестировали со старой обновленной версией PVE 6.4-13, и там всё работает нормально! Мы не понимаем, возможно, какая-то проблема с LVM, но почему это больше не работает?
Код: root@PVE7:~# pvdisplay
--- Physical volume ---
PV Name /dev/sda3
VG Name pve
PV Size <499.50 GiB / not usable 2.98 MiB
Allocatable yes (but full)
PE Size 4.00 MiB
Total PE 127,871
Free PE 0
Allocated PE 127871
PV UUID HLHwID-HmkC-JFdX-HkXd-ngXk-Sboc-p2fK42

--- Physical volume ---
PV Name /dev/md0
VG Name pve
PV Size 499.37 GiB / not usable <1.94 MiB
Allocatable yes
PE Size 4.00 MiB
Total PE 127,839
Free PE 127839
Allocated PE 0
PV UUID XQUEDm-swYp-j102-H0x1-kDih-qYPq-6vsGTF

root@PVE7:~# pvmove /dev/sda3 /dev/md0
Недостаточно свободного места: требуется 127871 экстентов, но доступно только 127839.
Не удалось выделить зеркальные экстенты для pve/pvmove0.
Не удалось преобразовать LV pvmove в зеркальный.
root@PVE7:~# Как нам лучше поступить? Спасибо за помощь.
07.01.2022 18:30:00, afi.]]> http://proxmox.su/forum/messages/forum63/message332545/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332545/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Fri, 07 Jan 2022 18:30:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Зачем вообще нужен mdadm raid? Вот почему ZFS уже реализован в установщике Proxmox media. Какая польза от использования md raid?
21.10.2022 16:21:00, pgro.]]> http://proxmox.su/forum/messages/forum63/message332544/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332544/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Fri, 21 Oct 2022 16:21:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Диск изнашивается гораздо меньше, а производительность лучше, но за счёт целостности данных и функциональности. А ZFS с полным системным шифрованием раньше PVE 6.3 было просто невозможно. Поэтому моя PVE использует LUKS+mdadm+lvm, потому что мне было нужно шифрование, а тогда, когда я её настраивал (кажется, это был PVE 6.1 или 6.2), ZFS как вариант не рассматривался. Если у тебя только дешёвые потребительские SSD или SMR жёсткие диски, я бы всё равно выбрал mdadm raid. ZFS слишком быстро убивает потребительские SSD (убил 3 из 4, которые у меня были, за последние 3 месяца) и может привести к деградации пула при использовании SMR жёстких дисков. Так что часто просто нет возможности использовать ZFS. Тогда это неплохая альтернатива встроенному RAID, особенно когда нет свободного слота PCIe 8x для аппаратной RAID-карты (как у многих, кто использует тонкие клиенты или NUC).
21.10.2022 16:29:00, Dunuin.]]> http://proxmox.su/forum/messages/forum63/message332543/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332543/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Fri, 21 Oct 2022 16:29:00 +0300 Proxmox Виртуальная Среда Как сделать: Proxmox VE 7 с Software RAID-1 В этом руководстве я проведу вас через процесс установки Proxmox VE 7 с Software RAID-1. Это отличный вариант для создания отказоустойчивой платформы виртуализации. **Предполагаемые требования:** * Два диск Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Введение

Операционная система наших серверов всегда работает на RAID-1 (аппаратный или программный RAID) для обеспечения отказоустойчивости. Поскольку Proxmox VE 7 не предлагает встроенной поддержки mdraid (есть поддержка ZFS RAID-1, правда), мне пришлось придумать решение для миграции базовой установки на mdraid RAID-1 и подумал, что это может быть полезно и для других. Поэтому я делюсь этим как руководство.

Объяснение высокого уровня

В общем и целом, я устанавливаю PVE7 на /dev/sda, затем создаю деградированный(!) программный RAID-1 на /dev/sdb3, переношу существующий PV с /dev/sda3 на /dev/md0 и затем добавляю mdraid /dev/md0, состоящий только из /dev/sdb3 изначально, к /dev/sda3.

Пошаговые инструкции

Код:

# Установить mdadm
apt install mdadm

# Создать идентичную раскладку разделов на /dev/sdb без копирования меток/UUID
sfdisk -d /dev/sda > part_table
grep -v ^label-id part_table | sed -e 's/, *uuid=[0-9A-F-]*//' | sfdisk /dev/sdb

# Создать деградированный RAID-1 на /dev/sdb3
mdadm --create /dev/md0 --level 1 --raid-devices 2 /dev/sdb3 missing

# Создать LVM PV и добавить в существующий VG
pvcreate /dev/md0
vgextend /dev/pve /dev/md0

# Перенести данные с /dev/sda3 на /dev/md0
pvmove /dev/sda3 /dev/md0

# ВАЖНО! Дождаться окончания процесса, затем удалить /dev/sda3 из VG
vgreduce /dev/pve /dev/sda3

# Добавить /dev/sda3 в RAID-1
mdadm --manage --add /dev/md0 /dev/sda3

# Побайтовое копирование разделов EFI и BIOS
dd if=/dev/sda1 of=/dev/sdb1
dd if=/dev/sda2 of=/dev/sdb2

# Установить GRUB на все диски
grub-install /dev/sda
grub-install /dev/sdb

# Обновить initramfs
update-initramfs -u -k all

# Дождаться окончания синхронизации RAID-1
watch cat /proc/mdstat
01.08.2021 13:45:00, gartoffel.]]> http://proxmox.su/forum/messages/forum63/message332542/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk http://proxmox.su/forum/messages/forum63/message332542/78832-kak-sdelat_-proxmox-ve-7-s-software-raid_1-v-etom-rukovodstve-ya-provedu-vas-cherez-protsess-ustanovki-proxmox-ve-7-s-software-raid_1.-eto-otlichnyy-variant-dlya-sozdaniya-otkazoustoychivoy-platformy-virtualizatsii.-_predpolagaemye-trebovaniya_-_-dva-disk Sun, 01 Aug 2021 13:45:00 +0300 Proxmox Виртуальная Среда