Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Как насчет LVM+qcow2?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Как насчет LVM+qcow2?, Proxmox Виртуальная Среда
     
    carragom
    Guest
    #1
    0
    31.12.2023 03:53:00
    Привет! Мне кажется, эта идея имеет смысл, но я не могу найти людей, которые об этом говорят, так что, наверное, это плохая идея. Тем не менее, мне было бы интересно узнать, почему она плохая. Прежде чем кто-то спросит, нет, я не планирую использовать это в продакшене. Согласно документации, PVE поддерживает общий LVM-хранилище при подключении через iSCSI или FC, что здорово. Но поддержки снапшотов нет, и это логично, поскольку кластерный LVM не поддерживает снапшоты, так что пока все хорошо, но… А что, если мы сможем использовать LV как файл в формате qcow2 и позволить формату заниматься снапшотами? Насколько мне известно, XenServer/XCP-ng делает что-то похожее с форматом vhd. Поэтому я решил немного поэкспериментировать в лаборатории с одним узлом PVE и локальным (не общим) LVM. И к моему удивлению, мне удалось следующее: Загрузить VM с вручную измененным lv+qcow2. Разбить диск на 2 раздела. Создать файловую систему ext4 на каждом разделе. Записать данные на каждый раздел с несколькими файлами и директориями. Сделать снапшот. Добавить новые файлы и директории. Изменить содержимое существующих файлов. Вернуться к ранее сделанному снапшоту. Как я это сделал? Создать VM с диском в LVM-хранилище без запуска. Активировать LV, если необходимо, с помощью lvchange -ay /dev/vg1/vm-100-disk-0. Отформатировать LV с помощью qemu-img create -f qcow2 /dev/vd1/vm-100-disk-0 32G. Использовать qm show 100, чтобы увидеть команду, которую Proxmox бы использовал для запуска VM. Изменить значение из format=raw на format=qcow2 в параметре -drive. Вручную запустить VM с измененной командой. В этот момент веб-интерфейс покажет загрузку VM, надеюсь, с live CD, где можно начать менять вещи на диске. Каждый раз, когда VM выключается, LV деактивируется, поэтому используйте шаг 2 в предыдущем списке, чтобы снова активировать его, чтобы можно было запустить VM снова или поиграть со снапшотами. Для управления снапшотами я использовал: Создать снапшот: qemu-img snapshot -c snap1 /dev/vd1/vm-100-disk-0.  Показать снапшоты: qemu-img snapshot -l /dev/vd1/vm-100-disk-0. Вернуться к снапшоту: qemu-img snapshot -a snap1 /dev/vd1/vm-100-disk-0. Удалить снапшот: qemu-img snapshot -d snap1 /dev/vd1/vm-100-disk-0. Желаемый результат здесь - иметь многопутевый iscsi с общим LVM и снапшотами, как в XenServer/XCP. Возможно, даже лучше, потому что это будут тонкие снапшоты. Но опять же, все это звучит слишком хорошо, чтобы быть правдой, так что мог бы кто-нибудь подсказать, почему это плохая идея?
     
     
     
    spirit
    Guest
    #2
    0
    20.06.2024 20:05:00
    Привет, я тоже посмотрел это. Скоро попробую, и сравню с gfs2 && ocfs2. Единственная разница с ovirt в том, что Proxmox использует внутренние снапшоты, я не знаю, хорошо ли это работает с qcow2 на блочном устройстве. (Это также значит, что мы не сможем уменьшить блочное устройство после удаления снапшота). https://bugzilla.proxmox.com/show_bug.cgi?id=4160
     
     
     
    iwik
    Guest
    #3
    0
    04.04.2024 09:47:00
    Мне кажется, это отличная идея! Должно работать и стать идеальным решением для SAN-окружения (идеальная замена VMware). Кстати, я нашел эту статью о реализации Kubernetes CSI драйвера на SAN с использованием qcow2 на LVM. Там упоминают этот документ о том, как это реализовано в ovirt/vdsm, у которых есть снапшоты на SAN. Получается, такое решение уже используется в другом виртуализационном решении. Vdsm делает тонкое выделение места, но чтобы всё было проще, это не обязательно, достаточно просто иметь снапшоты на LVM. Тонкое выделение места и дедупликация можно делать на стороне SAN-хранилища. Может, кто-нибудь из Proxmox посмотрит на это?
     
     
     
    LnxBil
    Guest
    #4
    0
    04.04.2024 10:45:00
    Несмотря на то, что все продавцы так рекламируют... без нормальной поддержки гостей это простое и понятное "нет", они врут. Как только данные записаны и удалены, но не отсортированы с диска гостя, у вас получится объем с почти толстой провизией. Только что столкнулся с этой проблемой на 3PAR с бюджетом в 6/7 цифр.
     
     
     
    iwik
    Guest
    #5
    0
    04.04.2024 11:00:00
    У меня есть опыт работы с большими VMware-инфраструктурами, которые поддерживаются несколькими флеш-хранилищами. Работает хорошо, еще и dedup есть.
     
     
     
    carragom
    Guest
    #6
    0
    04.04.2024 21:27:00
    Рад видеть, что я не один так думаю, и есть в этом какая-то ценность. Спасибо за ссылки, здорово знать, что другие тоже пытаются этим заняться. Честно говоря, я почти забыл об этом, ведь прошло уже 4 месяца без ответа. Моя текущая настройка для мультипутевого iSCSI использует OCFS2, и я бы с удовольствием от нее избавился.
     
     
     
    iwik
    Guest
    #7
    0
    05.04.2024 09:51:00
    Вне темы, но как показывает себя ocf2s2 с qcow2? И насколько это надежно? Я не могу найти никаких тестов производительности или инструкций, а мой прошлый опыт (более 10 лет) работы с ocf2s2 только негативный (паники ядра).
     
     
     
    carragom
    Guest
    #8
    0
    05.04.2024 10:25:00
    В целом, довольно стабильно в последние пару лет на кластере v7 из шести узлов с примерно 200 ВМ. Один раз была паника ядра, быстро исправили обновлением. Еще есть проблема с v8: ВМ не запускается, если используется Async IO = io_uring на жестком диске. Может быть, это уже исправлено, я в последнее время не тестировал. Опции Native и threads работают нормально. Что касается производительности, то ощущается довольно неплохо, и раз NFS не подходит из-за отсутствия поддержки мультипутей, то единственным другим вариантом для сравнения, пожалуй, был бы GFS2, я как-нибудь попробую. Управление, правда, немного неуклюжее, поэтому я бы очень хотел иметь общий LVM со снимками, даже если снимки будут толстыми.
     
     
     
    alma21
    Guest
    #9
    0
    01.07.2024 20:07:00
    Привет, spirit! Твоя реализация qcow2 поверх LVM выглядит многообещающе — особенно подход с демоном qmeventd кажется гладким решением. Думаю, это недостающий кусочек для универсального решения для общего блочного хранилища/SAN на основе хоста с функциями, похожими на ESXi/VMFS. Надеюсь, это также станет частью дистрибутива Proxmox в будущем. Спасибо!

    P.S. чисто из технического интереса — не уверен, имело бы это смысл, если бы qcow2 поверх LVM не заработал:

    *   использовать (общий) LVM-пул тонких томов на виртуальный диск;
    *   из-за тонких данных и метаданных/разреженных томов, тонкие тома по сути являются толстыми, поэтому Proxmox мог бы внутренне использовать ту же систему блокировок, что и сейчас для RAW-томов LV;
    *   создать изначально, например, 1ГБ метаданных + 1ГБ пула тонких данных + x ГБ предоставляемого тонкого тома внутри (блокировать/назначать соответствующие тома узлу);
    *   использовать автоматическое расширение пула тонких с помощью dmeventd + thin_pool_autoextend_threshold / thin_pool_autoextend_percent в lvm.conf
     
     
     
    spirit
    Guest
    #10
    0
    01.07.2024 20:31:00
    Пытаюсь как можно больше вливать свою работу в основную ветку (так как не хочу поддерживать форк у себя). Клиентов, приходящих с VMware (спасибо Broadcom), очень много, у них уже есть SAN, и это сейчас серьезное препятствие. Интересно, я об этом даже не думал. Попробую реализовать, чтобы сравнить.
     
     
     
    iwik
    Guest
    #11
    0
    02.09.2024 11:16:00
    Похоже, есть несколько патчей в рассылке devel по этой теме https://lists.proxmox.com/pipermail/pve-devel/2024-August/065201.html.
    Редактирую: О, теперь я понял, @spirit, это ты автор этих патчей.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры