Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Proxmox с GRAID – репликация данных.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Proxmox с GRAID – репликация данных., Proxmox Виртуальная Среда
     
    simoncechacek
    Guest
    #1
    0
    21.11.2023 17:38:00
    Привет,

    Мы приобрели серверную конфигурацию с 24 NVMe-дисками и картой GRAID. Мы планировали использовать VMware и NVMe-OF, но, поскольку поддержка этой опции задерживается командой GRAID, мы решили попробовать полностью перейти на Proxmox. Proxmox поддерживается GRAID (сейчас VE7, и они ограничены драйвером версии 5.x ядра). Мы хотим создать быструю и надежную систему. Мой идеальный план выглядит примерно так:

    Я не уверен в одном и был направлен сюда командой GRAID: как реплицировать эти виртуальные машины и как обеспечить сохранность всего. Я знаю, что для работы репликации в Proxmox нужен ZFS, но можно ли использовать ZFS на одном виртуальном диске, когда защита данных и ускорение обрабатываются картой GRAID на одном конце? На сервере №2 карты GRAID не будет, поэтому можно будет использовать NVMe RAID-контроллер или программный RAID. Если это невозможно, знаете ли вы, есть ли возможность часто копировать эти виртуальные машины (копировать только изменения), чтобы как минимум иметь достаточно свежий холодный резервный экземпляр на другом сервере, который можно будет вручную запустить, если основной сервер выйдет из строя?

    На машине, где сейчас установлена карта GRAID для тестирования (аппаратная часть сервера №1, но работающая под управлением Ubuntu), я получаю около 68 ГБ/с для чтения и 36 ГБ/с для записи при последовательном доступе, а при чтении случайных данных – около 10 М IOPS. Мы не хотим терять такую производительность, поэтому iSCSI или NFS выглядят как плохой вариант.

    Большое спасибо за ваше время и ответы. Эта платформа для меня нова, и меня вынуждают создавать работающую систему без какого-либо предыдущего опыта.
     
     
     
    LnxBil
    Guest
    #2
    0
    07.12.2023 12:32:00
    Проблема тут в твоем железе, потому что "максимально быстро" предполагает выделенное или распределенное общее хранилище, а ты этого не купил.
     
     
     
    simoncechacek
    Guest
    #3
    0
    09.12.2023 12:15:00
    Привет! Спасибо за ответы. К сожалению, похоже, что нам придётся отказаться от GRAID-карты, по крайней мере, пока что. Их совместимость не так хороша, как представлялось, да и поддержка ядра задерживается. Поэтому сейчас я хочу услышать ваши идеи по поводу программного обеспечения и техник для использования.

    1.  Основной сервер будет на ZFS вместо GRAID, чтобы он был готов к репликации, когда это станет доступно.
    2.  У нас есть старый сервер, который не сможет работать с ZFS, но мы хотим использовать его как резервную машину на всякий случай, пока мы работаем над вторым сервером, поддерживающим ZFS.
    3.  У нас также есть сервер хранения и облачное хранилище Hetzner. Хотел бы узнать, сможем ли мы делать периодические резервные копии с основного Proxmox-сервера на сервер хранения (NFS/CIFS-шара) и в Hetzner (NFS/CIFS/FTP) + автоматически создавать реплики работающих ВМ на вторичный Proxmox-сервер (который пока не работает с ZFS) с помощью Proxmox Backup Server, или нам потребуется стороннее программное обеспечение (в этом случае, пожалуйста, дайте рекомендации).

    Я понимаю, что такое решение не будет работать как HA, и в случае запуска реплики данные всегда будут немного рассинхронизированы. Мы стремимся к репликации, или даже к решению HA, по мере расширения нашего оборудования.

    Спасибо за все ваши идеи и время. Я день поплачу в углу из-за потерянных денег на GRAID, а затем вернусь, чтобы это всё сделать.
     
     
     
    VTOLfreak
    Guest
    #4
    0
    09.12.2023 15:10:00
    https://www.youtube.com/watch?v=l55GfAwa8RI Level1Techs давно делали глубокий разбор этой карты, ещё в апреле 2022 года. Если коротко: это пустышка. Она даже базовые ошибки обнаружить не смогла.
     
     
     
    alexskysilk
    Guest
    #5
    0
    09.12.2023 18:28:00
    Ну и что такого? Если бы это было так, ты мог бы использовать метод репликации ZFS, поддерживаемый в PVE (это как бедный человек пытается создать кластер).
     
     
     
    simoncechacek
    Guest
    #6
    0
    11.12.2023 09:12:00
    Построено на аппаратной RAID-карте, поэтому не хватает слотов для подключения этих дисков напрямую. Мы также заменим этот сервер на другой, который будет готов к ZFS. А старый превратим в контроллер для HA.
     
     
     
    simoncechacek
    Guest
    #7
    0
    11.12.2023 09:16:00
    Ну и невезучий я, что не смотрю Level2Techs регулярно. Искал видео и нашёл только одно от LTT, которое было помечено как GRAID. Ну, значит, похоже, наше основное хранилище будет на ZFS.
     
     
     
    simoncechacek
    Guest
    #8
    0
    11.12.2023 17:50:00
    Ладно, решили постепенно переходить на ZFS для хранилища. Я начал свои тесты, и пока что лучшее, что удалось получить – это 12-15 ГБ/с для последовательного чтения и около 8 ГБ/с для записи при использовании RAID10 ZFS. Могу ли я спросить, какая конфигурация была бы оптимальной, чтобы хотя бы приблизиться к результатам GRAID – 60 ГБ/с чтения и 25-30 ГБ/с записи? Конфигурация такая: 20 дисков SAMSUNG MZWLJ1T9HBJR-00007 объемом 1.92 ТБ, процессор AMD EPYC 7H12 с 64 ядрами и 1024 ГБ DDR4 ECC RAM.
     
     
     
    alexskysilk
    Guest
    #9
    0
    11.12.2023 17:53:00
    С уважением, последовательное чтение — это бессмысленный показатель. Если ваш сценарий использования — виртуализация (а вы находитесь на форуме по виртуализации), вам следует смотреть на 4k случайные IOPS. Подкорректируйте вашу команду FIA соответственно.
     
     
     
    simoncechacek
    Guest
    #10
    0
    11.12.2023 18:21:00
    Прости, ты прав. Понимаю. Попробую подкорректировать это. Дело в том, что это просто число, которое я взял из предыдущего теста, так что я мог с ним что-то сравнить. Я пытался измерить 4K случайные операции ввода-вывода в секунду при тестировании GRAID, но так и не получил результатов, хоть сколько-нибудь близких к их. Я спрашивал их об этом, они подтвердили, что эти числа неверны, но отказались помочь с редактированием команды fio. Лучшее, что я смог создать, используя вики fio:

    Код: fio --name=randread --rw=randread --direct=1 --ioengine=libaio --bs=8k --numjobs=20 --size=1G --runtime=600 --group_reporting

    Скрытый текст: Результат теста чтения
    Задания: 11 (f=9): [r(6),f(1),_(1),f(1),_(6),r(1),_(1),r(2),_(1)][76.9%][r=2446MiB/s][r=313k IOPS][оценка 00м:03с]
    randread: (groupid=0, jobs=20): err= 0: pid=16364: Понедельник, 11 декабря 18:08:09 2023
    чтение: IOPS=274k, BW=2140MiB/s (2244MB/s)(20.0GiB/9569msec)
    slat (usec): min=4, max=9688, avg=62.37, stdev=83.31
    clat (nsec): min=660, max=213522, avg=787.56, stdev=373.24
    lat (usec): min=5, max=9691, avg=63.16, stdev=83.39
    clat percentiles (nsec): | 1.00th=[ 668], 5.00th=[ 684], 10.00th=[ 700], 20.00th=[ 724], | 30.00th=[ 732], 40.00th=[ 740], 50.00th=[ 740], 60.00th=[ 748], | 70.00th=[ 772], 80.00th=[ 844], 90.00th=[ 908], 95.00th=[ 1004], | 99.00th=[ 1336], 99.50th=[ 1496], 99.90th=[ 2024], 99.95th=[ 2640], | 99.99th=[10432]
    bw ( MiB/s): min= 1772, max= 4195, per=100.00%, avg=2485.02, stdev=33.13, samples=317
    iops : min=226914, max=537008, avg=318080.42, stdev=4240.08, samples=317
    lat (nsec) : 750=51.77%, 1000=43.02%
    lat (usec) : 2=5.10%, 4=0.08%, 10=0.02%, 20=0.01%, 50=0.01%
    lat (usec) : 100=0.01%, 250=0.01%
    cpu : usr=1.89%, sys=55.48%, ctx=393285, majf=0, minf=247
    IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
    submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    issued rwts: total=2621440,0,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=1
    Состояние работы группы 0 (все задания): ЧТЕНИЕ: bw=2140MiB/s (2244MB/s), 2140MiB/s-2140MiB/s (2244MB/s-2244MB/s), io=20.0GiB (21.5GB), run=9569-9569msec

    Код: fio --name=randread --rw=randwrite --direct=1 --ioengine=libaio --bs=4k --numjobs=20 --size=1G --runtime=600 --group_reporting

    Скрытый текст: Результат теста записи
    Задания: 11 (f=9): [r(6),f(1),_(1),f(1),_(6),r(1),_(1),r(2),_(1)][76.9%][r=2446MiB/s][r=313k IOPS][оценка 00м:03с]
    randread: (groupid=0, jobs=20): err= 0: pid=16364: Понедельник, 11 декабря 18:08:09 2023
    чтение: IOPS=274k, BW=2140MiB/s (2244MB/s)(20.0GiB/9569msec)
    slat (usec): min=4, max=9688, avg=62.37, stdev=83.31
    clat (nsec): min=660, max=213522, avg=787.56, stdev=373.24
    lat (usec): min=5, max=9691, avg=63.16, stdev=83.39
    clat percentiles (nsec): | 1.00th=[ 668], 5.00th=[ 684], 10.00th=[ 700], 20.00th=[ 724], | 30.00th=[ 732], 40.00th=[ 740], 50.00th=[ 740], 60.00th=[ 748], | 70.00th=[ 772], 80.00th=[ 844], 90.00th=[ 908], 95.00th=[ 1004], | 99.00th=[ 1336], 99.50th=[ 1496], 99.90th=[ 2024], 99.95th=[ 2640], | 99.99th=[10432]
    bw ( MiB/s): min= 1772, max= 4195, per=100.00%, avg=2485.02, stdev=33.13, samples=317
    iops : min=226914, max=537008, avg=318080.42, stdev=4240.08, samples=317
    lat (nsec) : 750=51.77%, 1000=43.02%
    lat (usec) : 2=5.10%, 4=0.08%, 10=0.02%, 20=0.01%, 50=0.01%
    lat (usec) : 100=0.01%, 250=0.01%
    cpu : usr=1.89%, sys=55.48%, ctx=393285, majf=0, minf=247
    IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
    submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    issued rwts: total=2621440,0,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=1
    Состояние работы группы 0 (все задания): ЧТЕНИЕ: bw=2140MiB/s (2244MB/s), 2140MiB/s-2140MiB/s (2244MB/s-2244MB/s), io=20.0GiB (21.5GB), run=9569-9569msec

    Моя текущая конфигурация дисков — это просто RAID 10 из этих 10 дисков в ZFS.
     
     
     
    alexskysilk
    Guest
    #11
    0
    11.12.2023 18:29:00
    Я бы все равно посоветовал посмотреть в сторону 4k, но это выглядит вполне неплохо... какие у вас операционные требования?
     
     
     
    simoncechacek
    Guest
    #12
    0
    11.12.2023 18:45:00
    Проксмокс-сервер будет запускать несколько ВМ. Основная — Plesk вебхостинг и MySQL (хочу запустить MySQL во вторичной ВМ, у Plesk будет своя маленькая БД, но она не будет использоваться для данных клиентов). Другие ВМ — наш mailserver, Mattermost и Windows VM для бухгалтерии. Наша главная цель — запустить вебхостинг максимально быстро и с минимальным временем отклика, чтобы мы могли размещать быстрые сайты. Мы можем использовать много ОЗУ машины для кэширования.
     
     
     
    simoncechacek
    Guest
    #13
    0
    06.12.2023 16:46:00
    Привет, @_gabriel, спасибо за ответ. Я просто не уверен, правильно ли я тебя понял. Я не хочу выключать VM для бэкапа/failover. Я хочу запускать второй как можно БЫСТРЕЕ, если первая машина выйдет из строя. А потом, когда основную машину починят, я хочу обновить все данные на основном сервере и только потом запускать VM там.
     
     
     
    _gabriel
    Guest
    #14
    0
    06.12.2023 19:12:00
    Конечно, горячая резервная копия поддерживается. Частые резервные копии требуют pbs, при которых копируются только измененные данные. Быстрая восстанавливаемость требует резервных копий, хранящихся на быстрых накопителях, типа SSD.
     
     
     
    alexskysilk
    Guest
    #15
    0
    06.12.2023 22:58:00
    Я раньше оценивал GRAID и пришёл к выводу, что это, по сути, бесполезно. Просто так, производительность практически не отличалась от софтверного RAID, особенно если использовать striped mirrors. Если сделать RAID с четностью, то немного быстрее, но операции XOR не сильно нагружают современные процессоры. В любом случае, для виртуализации RAID с четностью будет работать медленнее, чем striped mirrors, из-за единой очереди дисков. Есть ещё вопрос восстановления — GRAID пересчитывает четность, но не сравнивает её с контрольными суммами, существующими на диске; ZFS гораздо надёжнее с точки зрения целостности данных. Если просто убрать его из конфигурации, то:
    - вы не будете зависеть от куска железа и модуля DKMS, необходимого для монтирования файловой системы (например, для восстановления).
    - сможете обновиться до PVE8.
    - сможете запустить ZFS (да, будет немного медленнее, но оно того стоит).

    Я понимаю, что "уже потраченные деньги" — это трудный барьер, но подумайте, что для вас действительно важно.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры