+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Проверка на вменяемость для новой установки., Proxmox Виртуальная Среда

tux-o-mat

Guest

24.06.2025 10:17:00

Не могли бы мы получить несколько вторых и третьих мнений по плану развертывания нового дата-центра: 8 PVE Hosts, каждый из которых имеет два 16-ядерных Xeon и 512ГБ обычной оперативной памяти. Кроме того, в каждой машине по 4 сетевых карты 10GbE, две из которых предназначены для трафика гостей, а две — для трафика хранилища. В каждой машине будет по 4 SSD-накопителя Samsung PM1653 на 8ТБ SAS, подключенные к HBA для использования Ceph. Трафик хранилища и трафик гостей обрабатываются независимыми, резервными коммутаторами. Все соединения — DAC. Профили гостей будут разнообразными: от архивных машин с небольшим количеством операций до SQL-серверов. Резервное копирование будет на baremetal PBS, как минимум один 16-ядерный Xeon, ZFS на HBA или LVM на RAID. Разумеется, это будет реплицировано на другой сайт. Основная (единственная) проблема, которую я вижу, — это то, что 10GbE может стать узким местом для трафика Ceph. Есть какие-нибудь идеи / опыт по этому вопросу? Любые отзывы будут очень полезны. Спасибо!

Stoiko Ivanov

Guest

24.06.2025 10:28:00

10GbE скорее всего станет узким местом для Ceph. Могу посоветовать посмотреть нашу статью о бенчмарке Ceph за 2023/2024 – это должно дать хорошую отправную точку: https://www.proxmox.com/images/download/pve/docs/Proxmox-VE-Ceph-Benchmark-202312-rev0.pdf Надеюсь, это поможет!

tux-o-mat

Guest

24.06.2025 11:09:00

Спасибо, Stoiko, за ссылку! Я уже это прочитал. На самом деле, мои сомнения возникли именно из-за этой статьи. Я надеялся увидеть какой-нибудь практический пример, где эти выводы применяются в реальных задачах.

LnxBil

Guest

24.06.2025 11:41:00

Идеальная конфигурация была бы с большим количеством сетевых интерфейсов. Не знаю, дали ли вы нам только "высокоскоростные" интерфейсы, но двух всё равно недостаточно: https://pve.proxmox.com/wiki/Deploy...r#_recommendations_for_a_healthy_ceph_cluster (посмотрите раздел о сети).

tux-o-mat

Guest

24.06.2025 12:39:00

Спасибо, @LnxBil. Действительно, я упомянул только многогигабитные интерфейсы. У нас как минимум два 1GbE интерфейса на машину для corosync и т.д. Это значит, я могу использовать существующие интерфейсы без резервирования (1x Ceph data, 1x Ceph public, 1x Guest traffic, 1x Corosync) или мне придется приобрести еще два "быстрых" интерфейса на машину. Если я начну покупать интерфейсы снова, это будет как минимум 40GbE, просто интересно, можно ли обойтись без этих 30 тысяч долларов (с учетом свитчей).

LnxBil

Guest

25.06.2025 23:24:00

Если вы готовы мириться с проблемами переключения и работать в четко определенном пространстве, к сожалению, да. И CEPH может быть на одной сети, и corosync тоже может быть на публичной сети, но вы можете столкнуться с проблемами перегрузки. Их можно немного смягчить с помощью QoS, но это не рекомендуется.

tux-o-mat Guest	#7 0 26.06.2025 07:34:00 Мои опасения оказались не напрасны, похоже. Начну планировать четвёртый сетевой сегмент для Ceph Data — вероятно, 100GbE, потому что это, скорее всего, окажется более перспективным, чем переход к 25 или 40 гигабитам. Просто нет смысла рисковать новыми проблемами в будущем. Так что у нас будет 2x100 Ceph Data, 2x10 Ceph Public, 2x10 Guest Traffic и 2x1 Corosync. Спасибо вам за ваши предложения. Очень признателен!

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры