Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    ceph меняет публичную сеть.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    ceph меняет публичную сеть., Proxmox Виртуальная Среда
     
    daviditty
    Guest
    #1
    0
    06.12.2022 22:47:00
    Привет всем! Короче, я оказался в ситуации, когда хочу поменять публичную сеть Ceph. Я довольно много почитал об этом и, прежде чем "поэкспериментировать" на проде ;-) создал виртуальную тестовую среду, которая меня поразила – оказалось, это на самом деле довольно легко, и я хочу тут перепроверить все... Виртуальный кластер состоял из: 3x pve 7.3 хост, 2 сети на 2 nic, ceph octopus, 3 OSD на узел. Сеть кластера Ceph 10.10.10.1/24, публичная сеть Ceph 10.0.0.1/24, мониторы были на 10.0.0.1/24 изначально. Я сделал 1 VM после кластеризации и положил ее на RBD. Внутри VM я запустил бесконечный цикл, чтобы посмотреть, возможен ли ввод-вывод диска во время процесса, так как хочу сделать это в живой среде. В SSH сессии 1: while true; do echo $RANDOM >> test; sleep 2; done В SSH сессии 2: tail -f test На протяжении всего процесса запись была возможна, и SSH сессия оставалась активной, пока я мигрировал VM между узлами. Что я сделал: - отредактировал публичную сеть Ceph до 10.10.10.1/24 в /etc/pve/ceph.conf, сохранил файл; - уничтожил / пересоздал всех мониторов по одному через GUI, они появятся с новым IP-адресом в новой сети, проверьте здоровье Ceph и VM между ними; - уничтожил / пересоздал всех менеджеров по одному через GUI, они появятся с новым IP-адресом в новой сети, проверьте здоровье Ceph и VM между ними; - перенес VM на другой узел; - перезагрузил один узел; - вернул VM обратно; - перезагрузил остальные узлы; - готово. Я был в шоке, я даже снова отделил публичную сеть Ceph после слияния, чтобы посмотреть, смогу ли я, и это работает отлично. Между прочим, я также проверял RBD watchers с rbd ls, нашел диск VM и проверил его с rbd status vm-100-disk-0, например, и увидел, что после живой миграции listener IP тоже меняется на новый. С помощью netstat -tulpn | grep ceph также видно, что старые IP-адреса исчезают после перезагрузки узлов. Я что-то упускаю, или это действительно так просто? Похоже, что да... С наилучшими пожеланиями, David
     
     
     
    cetjunior
    Guest
    #2
    0
    03.05.2023 19:55:00
    Привет! Я долго, долго искал решение этой проблемы и не мог получить четких ответов. Ты решил мой вопрос одним постом (в моем случае, наоборот - удалил кластерную сеть и перешел на публичную).

    ДОБАВЛЕНИЕ: Я сделал почти так же, как ты, но без перезапуска хостов, следуя следующим шагам:

    *   Изменил конфигурацию сети в "ceph.conf" (в моем случае, удалил кластерную сеть и оставил только публичную, перейдя на новый подсеть);
    *   Уничтожил и пересоздал мониторы (по одному);
    *   Уничтожил и пересоздал менеджеры (по одному, оставив активный в конце);
    *   Уничтожил и пересоздал метаданные-серверы (по одному, оставив активный в конце);
    *   Перезапустил OSD (по одному – или больше, в зависимости от количества OSD в кластере – чтобы избежать перезапуска хостов).

    Большое спасибо, с уважением!
     
     
     
    daviditty
    Guest
    #3
    0
    05.05.2023 17:00:00
    Круто! Рад, что у тебя получилось, мне ещё нужно будет внести изменения в продакшн, пока мы разбираемся с нашей сетью.
     
     
     
    BruceX
    Guest
    #4
    0
    24.06.2023 03:52:00
    Я обновил свой существующий кластер из трёх узлов, добавив в каждый узел две сетевые карты на 10Gbe и настроил их в виде Full Mesh Network. Мне нужно было перевести мой существующий Ceph на новую сеть 10Gbe Mesh. Работает отлично, особенно перезапуск OSD, а не полная перезагрузка узлов. Мои первые попытки внести все необходимые изменения в ceph.conf не увенчались успехом. Было здорово увидеть, как скорость записи на диск моего тестового LXC почти утроилась благодаря новой сети без перезагрузок или перенастройки LXC. Спасибо, что поделились этим опытом (ни ChatGPT, ни Bard такого не нашли)!
     
     
     
    daviditty
    Guest
    #5
    0
    31.08.2023 09:53:00
    Я тоже только что это сделал в нашей рабочей среде, и с твоим дополнением, @cetjunior, всё заработало идеально! Хочу добавить, что если ты будешь делать это в будущем, тебе нужно только подкорректировать public_network или cluster_network в разделе "global" в файле /etc/pve/ceph.conf, не парься насчет всех этих mon_host, ceph сам их обрабатывает, как только ты следуешь всем шагам!
     
     
     
    Waaaat
    Guest
    #6
    0
    09.12.2023 13:22:00
    Привет всем! Хочу сразу уточнить, я определенно не Ceph-эксперт, так что относитесь к моим советам с изрядной долей скепсиса. У меня были проблемы (простои управления и дашборда) при использовании этого решения. Вот как я с ними справился и как бы я сделал это снова:

    1. Сначала добавьте вторую публичную сеть.
    2. Добавьте конфигурацию сети и протестируйте соединение между каждым узлом (я использовал iperf3).
    3. Добавьте дополнительную публичную сеть (новая сеть) в /etc/pve/ceph.conf.

    Код:

    # Пример с переменными
    public_network = <host ip/cidr of new Network>, <host ip/cidr of old Network>

    # Пример с реальными IP-адресами
    public_network = 172.22.21.201/24, 172.22.3.201/24

    Добавьте новую сеть сначала, чтобы увидеть новый IP в веб-интерфейсе PVE.

    Уничтожьте и пересоздайте мониторы (по одному).
    Уничтожьте и пересоздайте менеджеры (по одному, оставляя активный последним).
    Уничтожьте и пересоздайте серверы метаданных (по одному, оставляя активный последним).

    Удалите старую публичную сеть из /etc/pve/ceph.conf.

    Уничтожьте и пересоздайте мониторы (по одному).
    Уничтожьте и пересоздайте менеджеры (по одному, оставляя активный последним).
    Уничтожьте и пересоздайте серверы метаданных (по одному, оставляя активный последним).

    Установите флаг noout (либо в UI, либо с помощью shell "ceph osd set noout").

    Перезапустите OSD (по одному – или больше, в зависимости от количества OSD в кластере – чтобы избежать перезапуска хостов).

    Снимите флаг noout (либо в UI, либо с помощью shell "ceph osd unset noout").

    Удалите старую конфигурацию сети со всех хостов (если нужно).

    Может, это можно как-то оптимизировать, но так я смог обойтись без простоев. Надеюсь, это поможет кому-нибудь.
     
     
     
    daviditty
    Guest
    #7
    0
    11.12.2023 23:26:00
    Скажите, пожалуйста, какой именно простой у вас был? Похоже, что проблема была с Ceph MDS? Это единственное, что отличается от предыдущих сообщений, мы их не использовали, только RBD. Кстати, хорошее дополнение, не знал, что можно добавить "двойное" кольцо.
     
     
     
    fvfrenzy
    Guest
    #8
    0
    18.10.2024 21:15:00
    Ого... блин... так просто. Я застрял и подумал, что сломал свой кластер Ceph (вообще толком не знаю, что с ним делаю). Думал, нужно убрать все остатки текущей публичной сети, и уже собирался это делать. Не мог уничтожить последний монитор. Кто бы мог подумать, что нужно делать по одному. Гениально. Спасибо!
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры