Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Replication between nodes

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Replication between nodes, Proxmox Виртуальная Среда
     
    Benoit
    Guest
    #1
    0
    08.11.2018 14:17:00
    Привет, у нас есть кластер из трех узлов, работающий на Proxmox 5.2-10. На каждом узле по два ZFS пула: VM-STOCKAGE и VM-STOCKAGE2, каждый с RAID 1 из четырехтовых дисков. На одном узле, в пуле VM-STOCKAGE объемом 3.51Тб, есть виртуальная машина с ID 105, которая использует два диска: диск-1 2Тб и диск-2 1Тб, всего 3.12Тб. Когда я пытаюсь активировать репликацию между этим узлом и другим для этой ВМ, возникает ошибка нехватки места: 2018-11-08 14:07:01 105-0: старт задания репликации 2018-11-08 14:07:01 105-0: гость => ВМ 105, работает => 27648 2018-11-08 14:07:01 105-0: объемы => VM-STOCKAGE:vm-105-disk-1, VM-STOCKAGE:vm-105-disk-2 2018-11-08 14:07:02 105-0: создание снимка '__replicate_105-0_1541682421__' на VM-STOCKAGE:vm-105-disk-1 2018-11-08 14:07:02 105-0: завершение задания репликации с ошибкой: zfs ошибка: не удается создать снимок 'VM-STOCKAGE/vm-105-disk-1@__replicate_105-0_1541682421__': нехватка места. У меня такая же настройка на трех других кластерах в других местах, и никаких проблем. Я не понимаю, почему в этом кластере это не работает. Спасибо.
     
     
     
    Benoit
    Guest
    #2
    0
    27.11.2018 08:15:00
    Здравствуйте, есть новости? Это вызывает проблему и с резервным копированием. Не могу использовать режим снимка. С уважением.
     
     
     
    Benoit
    Guest
    #3
    0
    07.12.2018 15:15:00
    Привет, есть какие-нибудь идеи? С уважением.
     
     
     
    Benoit
    Guest
    #4
    0
    11.12.2018 12:53:00
    Привет, все еще жду помощи по этой теме! Спасибо.
     
     
     
    guletz
    Guest
    #5
    0
    11.12.2018 17:40:00
    Привет, похоже, что ваша ошибка с первого сообщения говорит о том, что у вас недостаточно места в целевом пуле. Когда вы показываете свой целевой zpool, свободного места вроде как хватает. Но нужно учитывать, что это свободное место связано с размером блоков на жестком диске. Давайте объясню проще: у вас на источнике 4 блока данных (4x 512 б) = 2 кБ, на целевом пуле у вас свободно 8 кБ (2 блока x 4 кБ). Таким образом, по расчетам 8 кБ достаточно для репликации с источника на назначение. Но zfs будет реплицировать блоки, поэтому 4 блока на источнике превратятся в 4x 4 кБ = 16 кБ. В этом случае вы увидите сообщение о недостаточном пространстве! Удачи!
     
     
     
    Benoit
    Guest
    #6
    0
    11.12.2018 22:51:00
    Привет, спасибо за твой ответ! На источнике: root@svr-07-scq:~# cat /sys/block/sdb/queue/hw_sector_size 512 root@svr-07-scq:~# blockdev --getss --getpbsz /dev/sdb 512 512 На целевом сервере: root@SVR-00-SCQ:~# cat /sys/block/sdb/queue/hw_sector_size 512 root@SVR-00-SCQ:~# blockdev --getss --getpbsz /dev/sdb 512 512 Похоже, что размер секторов одинаковый, да?
     
     
     
    guletz
    Guest
    #7
    0
    12.12.2018 17:40:00
    Кажется, что все так же. Но ты говоришь, что у тебя пул zfs с рейдом 1, так что тебе нужно узнать, имеют ли оба диска одинаковое значение. В любом случае, после повторного прочтения твоего поста, ошибка о нехватке свободного места на диске относится к источнику. Как ты сказал, на источнике 3.12 ТиБ из 3.51 ТиБ. Так что ты уже под пределом безопасного свободного места (около 10%), потому что zfs будет хранить не только пользовательские данные, но и контрольные суммы, метаданные и некоторые внутренние данные. По этой причине в источнике невозможно создать снимки. Если хочешь быть на безопасной стороне, не используй zfs, когда свободное место менее 20%. При этом значении любые записи будут очень сложными, так как фрагментация будет выше, и также трудно будет в короткие сроки найти свободные блоки. И производительность ввода-вывода будет плохой. Если у всех твоих дисков размер блока 512, это также увеличит пространство, используемое для метаданных, по сравнению с диском того же размера с 4k. На мой взгляд, в наше время использование дисков 512 с zfs — это очень плохой вариант. Подумай на мгновение, что только один диск вышел из строя. Вероятность найти новый с размером 512 в будущем очень низка. Скорее всего, ты найдешь 4k. И если ты создал свой пул с ashift=9, т.е. размером 512, тогда твой пул будет очень-очень медленным, потому что за любую запись 512 на старом диске ты будешь записывать 4k на новом диске. То же касается и чтения. Но тебе повезло, потому что у тебя зеркало, на raidz будет еще хуже. Можешь выложить вывод команды zpool list -v для исходного пула?
     
     
     
    Benoit
    Guest
    #8
    0
    13.12.2018 08:45:00
    Спасибо, что нашли время ответить. Мой сервер — это Dell R530, совершенно новый с 5 годами профессиональной поддержки. Думаю, я смогу легко найти диск (надеюсь!). Я использую RAID 1 с контроллерной картой PERC. Я использую ZFS, потому что хочу наладить репликацию между узлами, как я могу это сделать без этого? Это возможно? Думаю, я могу уменьшить размер диска моей ВМ, как вы думаете, это поможет? Вот вывод. root@svr-07-scq:~#  zpool list -v NAME   SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT VM-STOCKAGE  3.62T   960G  2.69T         -    28%    25%  1.00x  ONLINE  - sdb  3.62T   960G  2.69T         -    28%    25% VM-STOCKAGE2  3.62T   140G  3.49T         -     6%     3%  1.00x  ONLINE  - sdc  3.62T   140G  3.49T         -     6%     3% root@svr-07-scq:~# еще раз спасибо!
     
     
     
    guletz
    Guest
    #9
    0
    13.12.2018 09:16:00
    Привет, Бенуа,

    Твой VM-STOCKAGE имеет много свободного места (25% занято данными), остальное пространство резервируется под выделенный виртуальный диск (VM105). Думаю, ты можешь попробовать уменьшить размер своего виртуального диска, это может решить проблему. В любом случае, я выделяю только то пространство, которое необходимо, плюс 25%. Я предпочитаю использовать свободное место для снимков! Время от времени я увеличиваю размер виртуального диска по мере необходимости. Иногда тебе может понадобиться переместить свою VM с одного узла на другой, но для этого нужно свободное пространство! Я не понимаю, почему ты используешь 2 разных пула на каждом узле! Может быть, потому что добавил последние 2 диска перед тем, как настроить первый пул? Это более эффективно по пространству и производительности — лучше использовать только один пул (с двумя пулами ты разделишь ARC на два), так что лучше иметь один пул (raid10?). Удачи!
     
     
     
    Benoit
    Guest
    #10
    0
    13.12.2018 10:09:00
    Привет, две разные пулов, потому что я, похоже, сделал ошибку... В моем понимании, если я разделю на уровне контроллера perc две RAID 1 вместо RAID 10, я получу безопасность, потому что второй массив останется в сети, даже если оба диска в первом массиве выйдут из строя. По производительности я немного теряю, но для моего использования это несущественно. Также я подумал, что будет яснее, если я создам два пула на узлах для ВМ онлайн и оффлайн. Объясняю: svr-07-scq: ВМ онлайн 105 на первом пуле и реплика другого узла на другом пуле; svr-09-scq: ВМ онлайн 112 / 114 / 118 / 116 / 111 на втором пуле и реплика 105 на первом; svr-00-scq: старый сервер, используемый только для кворума и с несколькими тестовыми ВМ, которые не важны. На сайтах, где у меня есть немного свободного места, я использую его для репликации всех ВМ с других узлов. Я понимаю, что мне многое нужно узнать о Proxmox, и что самообучение имеет много ограничений. Работать с таким человеком, как ты, было бы здорово для легкого обучения. Я собираюсь попробовать уменьшить мой диск ВМ, Linux-сервер с группами томов, надеюсь, я не сделаю ошибку! Я восстановлю резервную копию этого сервера на узле кворума и проведу тесты на нем. Я никогда не уменьшал виртуальный диск, есть ли лучший способ это сделать? Еще раз большое спасибо за твое время и помощь. Я очень ценю это.
     
     
     
    guletz
    Guest
    #11
    0
    13.12.2018 10:37:00
    Привет снова, какой PERC у тебя! У меня тоже H330, и я не использую его в режиме RAID (я использовал в режиме jbod/hba), потому что это не очень хорошо для ZFS. Ты мог бы создать один пул, но с разными датасетами, такими как data-online, data-offline, короткие резервные копии (для хранения на короткий срок) и так далее. Каждый датасет можно настроить с разными свойствами ZFS (например, с разным volblocksize). В моем случае я не использую пул напрямую в ZFS, а использую датасеты для Proxmox. Удачи!
     
     
     
    Benoit
    Guest
    #12
    0
    13.12.2018 11:02:00
    У меня есть Perc H730 с кэшем 1 Гб. Я создал два RAID 1 на нем, а потом создал ZFS-пулы с помощью zpool create -f VM-STOCKAGE /dev/sdb zpool create -f VM-STOCKAGE2 /dev/sdc. Я никогда не использовал датасеты. На самом деле, я не знал, что они существуют. Буду искать у нашего друга Гугла! Еще раз спасибо! (и снова.....)
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры