http://proxmox.su Новое в теме Proxmox небольшие/средние вопросы по гиперконвергентным кластерам форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Wed, 29 Apr 2026 11:46:17 +0300 Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, я понимаю. Ты тогда объяснил, что у тебя будет 3-узловая Ceph и дополнительные вычислительные узлы. Мой вопрос касался того, планируешь ли ты иметь исключительно CEPH узлы и остальные PVE, или всё будет на PVE. Конечно, я бы попытался разделить: сделать быстрый пул только из SSD и один для жестких дисков. Так будет две скорости, а не одна. Может, также стоит рассмотреть NVMe для всего, что связано с задержками, если у тебя еще остались ресурсы.
10.09.2023 20:52:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message338167/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338167/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 10 Sep 2023 20:52:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Первоначально мы думали о кластерной модели смешанного использования. Также посмотрите мой комментарий о HDD для пулов и SSD для WAL и БД. Это будет хорошей идеей?
10.09.2023 18:20:00, sebyp.]]> http://proxmox.su/forum/messages/forum63/message338166/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338166/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 10 Sep 2023 18:20:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я построил все, что связано с PVE, включая кластеры с выделенным корпоративным хранилищем, потому что именно это было доступно в тот момент, и у нас нет требования для одной цели, которую может выполнить только CEPH: динамическое расширение за счет добавления новых узлов. Сказав это, да, 3 узла — это абсолютный минимум и самый неэффективный вариант, который можно создать. Чем больше узлов у вас есть, тем лучше "коэффициент хранения-отходов", но при этом будет менее оптимальная "локализация данных", что может привести к меньшему количеству IOPS. Вы планируете иметь выделенный кластер CEPH и выделенный кластер PVE или это будет кластер смешанного использования?
10.09.2023 18:17:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message338165/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338165/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 10 Sep 2023 18:17:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Точно! Это верно, еще одна идея, которую мы рассматривали — использовать 3 узла для выделенного кластера Ceph и остальные 4 — для вычислительных задач. Хотя, судя по тому, что я узнал, 3-узловой кластер Ceph не очень хорош для рабочих нагрузок в продакшене. Любые советы тут были бы очень кстати. Кстати, ещё одной идеей, которую мы могли бы рассмотреть, является использование HDD для пулов Ceph и подкрепление их выделенными SSD для функций WAL и DB.
10.09.2023 18:06:00, sebyp.]]> http://proxmox.su/forum/messages/forum63/message338164/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338164/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 10 Sep 2023 18:06:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не всегда так? Это зависит от многих факторов (спиндели, сеть и т.д.), однако если вы читаете с локального узла, ничто не сравнится с локальным. Нельзя полностью сравнивать оба варианта, NFS — это файловое хранилище, Ceph (не с rados) — блочное хранилище. Я рекомендую разделить данные "нуждающиеся в скорости" и "другие" данные и перенести их на NFS. Вы только узнаете, насколько быстро, когда запустите fio как бенчмарк на обоих вариантах.
10.09.2023 17:49:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message338163/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338163/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 10 Sep 2023 17:49:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет, небольшое обновление к моему предыдущему посту: похоже, поставщик Dell приятно удивил нас, предложив 7-9 серверов, которые мы могли бы использовать в рамках текущего бюджета. Однако, один очевидный минус Ceph (который я не учёл так внимательно, как следовало бы) — это рекомендация по производству 3/2 (минимум 2 реплики, максимум 3), что на практике позволяет использовать только 1/3 сырого хранилища [и я ещё не учёл стандартные пороги близости к заполнению (85%) и заполненности (95%) Ceph]. Бизнес вернулся с просьбой "чуть больше хранилища, если возможно", что привело меня к исследованию "старой" централизованной архитектуры хранилища. Я подумываю развернуть TrueNAS Enterprise X-Series с двумя контроллерами, который предоставит одну или несколько NFS-папок узлам Proxmox для использования в качестве централизованного хранилища. Насколько мне известно, есть ли серьезное влияние на производительность между NFS и Ceph? Спасибо!
10.09.2023 17:20:00, sebyp.]]> http://proxmox.su/forum/messages/forum63/message338162/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338162/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 10 Sep 2023 17:20:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@maomaocake, спасибо за отличные советы. Судя по тому, что я прочитал о устройствах WAL/db, они имеют смысл только в том случае, если они быстрее, чем "реальные накопители" OSD, чего у меня нет. Это может стать хорошим аргументом для оптимизации пространства хранения.
06.08.2023 15:57:00, sebyp.]]> http://proxmox.su/forum/messages/forum63/message338161/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338161/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 06 Aug 2023 15:57:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
посмотрите на возможность использования SSD в качестве устройств WAL/db, с ними у меня производительность IOPS увеличилась примерно в два раза. имейте в виду, что вам нужно будет вручную настраивать OSD, так как интерфейс proxmox не может размещать wal на разделах. ceph очень хорошо масштабируется по горизонтали, поэтому также подумайте о большем количестве небольших узлов вместо меньшего количества больших узлов.
06.08.2023 12:41:00, maomaocake.]]> http://proxmox.su/forum/messages/forum63/message338160/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338160/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 06 Aug 2023 12:41:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@floh8, спасибо за отзыв, я обязательно буду держать всех в курсе своего прогресса, если кто-то подумает о похожем решении.
06.08.2023 11:42:00, sebyp.]]> http://proxmox.su/forum/messages/forum63/message338159/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338159/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Sun, 06 Aug 2023 11:42:00 +0300 Proxmox Виртуальная Среда Proxmox небольшие/средние вопросы по гиперконвергентным кластерам Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет, обращаюсь за помощью к сообществу по поводу образовательного проекта, который я готовлю. Описание: я создаю учебный симулятор по кибербезопасности, это виртуальная среда, где студенты могут отрабатывать различные навыки безопасности, особенно интересно будет заниматься атакой и защитой. Короче говоря, мне нужно быстро запускать от 10 до 50 связанных клонов одновременно. Эти клоны имеют разные базовые шаблоны, либо Linux, либо Windows. Виртуальные машины обычно живут недолго, от нескольких часов до нескольких дней. Рассматриваемая мной конфигурация хоста выглядит следующим образом: Конфигурация хоста (3-5 хостов, в зависимости от цены, которую я получу от поставщика оборудования): - ЦП: 1 x AMD Epyc 7542 (32c/64t) - ОЗУ: 1TB - хранилище: - 2 x M2 RAID1 для ОС - 8-10 x 1 TB SSD SATA-3 дисков в JBOD/HBA/IT режиме для Ceph OSD - сеть: - 2 x 10/25 Gbps NIC для репликации Ceph - 2 x 10/25 Gbps NIC для трафика ВМ Что касается сетевого оборудования, я думаю использовать 2 x 10/25 Gbps коммутатора, вероятно, Cisco Nexus, но готов рассмотреть и других производителей. Теперь к вопросам: 1. Я подумываю создать гиперконвергентный кластер CEPH из всех этих коробок. По опыту других, это осуществимо? Учтите, что это не «продакшн» ВМ, поэтому небольшая потеря в производительности приемлема. 2. Поскольку бюджет всегда ограничен, я выступаю за большее количество узлов (с меньшим объемом ОЗУ и/или меньшим количеством SSD и/или меньшей емкостью SSD), чем за 3 больших, как с точки зрения CEPH, так и с учетом того, что нагрузка будет распределяться между несколькими узлами. Это хорошая идея? 3. Есть ли какие-то ограничения на количество ВМ, которые я могу запустить одновременно? Я проводил тестирование с маленьким 3-узловым кластером и иногда получал ошибку `TASK ERROR: clone failed: cfs-lock 'storage-vm-storage' error: got lock request timeout`, но, используя возможности повторной попытки Ansible, я смог это обойти. Тем не менее, мне бы хотелось узнать по опыту других, есть ли здесь ограничения. 4. На последних порах, когда я удаляю ВМ, их облачные диски cloud-init иногда остаются «незамеченными» на хранилище CEPH, но я заметил это только при удалении 20-30 ВМ сразу. Для обоих пунктов (3) и (4) я использую Proxmox VE 7.4-16. Заранее спасибо!
19.07.2023 15:01:00, sebyp.]]> http://proxmox.su/forum/messages/forum63/message338158/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram http://proxmox.su/forum/messages/forum63/message338158/79439-proxmox-nebolshie_srednie-voprosy-po-giperkonvergentnym-klasteram Wed, 19 Jul 2023 15:01:00 +0300 Proxmox Виртуальная Среда