Привет всем! Короче, я оказался в ситуации, когда хочу поменять публичную сеть Ceph. Я довольно много почитал об этом и, прежде чем "поэкспериментировать" на проде
создал виртуальную тестовую среду, которая меня поразила – оказалось, это на самом деле довольно легко, и я хочу тут перепроверить все... Виртуальный кластер состоял из: 3x pve 7.3 хост, 2 сети на 2 nic, ceph octopus, 3 OSD на узел. Сеть кластера Ceph 10.10.10.1/24, публичная сеть Ceph 10.0.0.1/24, мониторы были на 10.0.0.1/24 изначально. Я сделал 1 VM после кластеризации и положил ее на RBD. Внутри VM я запустил бесконечный цикл, чтобы посмотреть, возможен ли ввод-вывод диска во время процесса, так как хочу сделать это в живой среде. В SSH сессии 1: while true; do echo $RANDOM >> test; sleep 2; done В SSH сессии 2: tail -f test На протяжении всего процесса запись была возможна, и SSH сессия оставалась активной, пока я мигрировал VM между узлами. Что я сделал: - отредактировал публичную сеть Ceph до 10.10.10.1/24 в /etc/pve/ceph.conf, сохранил файл; - уничтожил / пересоздал всех мониторов по одному через GUI, они появятся с новым IP-адресом в новой сети, проверьте здоровье Ceph и VM между ними; - уничтожил / пересоздал всех менеджеров по одному через GUI, они появятся с новым IP-адресом в новой сети, проверьте здоровье Ceph и VM между ними; - перенес VM на другой узел; - перезагрузил один узел; - вернул VM обратно; - перезагрузил остальные узлы; - готово. Я был в шоке, я даже снова отделил публичную сеть Ceph после слияния, чтобы посмотреть, смогу ли я, и это работает отлично. Между прочим, я также проверял RBD watchers с rbd ls, нашел диск VM и проверил его с rbd status vm-100-disk-0, например, и увидел, что после живой миграции listener IP тоже меняется на новый. С помощью netstat -tulpn | grep ceph также видно, что старые IP-адреса исчезают после перезагрузки узлов. Я что-то упускаю, или это действительно так просто? Похоже, что да... С наилучшими пожеланиями, David
создал виртуальную тестовую среду, которая меня поразила – оказалось, это на самом деле довольно легко, и я хочу тут перепроверить все... Виртуальный кластер состоял из: 3x pve 7.3 хост, 2 сети на 2 nic, ceph octopus, 3 OSD на узел. Сеть кластера Ceph 10.10.10.1/24, публичная сеть Ceph 10.0.0.1/24, мониторы были на 10.0.0.1/24 изначально. Я сделал 1 VM после кластеризации и положил ее на RBD. Внутри VM я запустил бесконечный цикл, чтобы посмотреть, возможен ли ввод-вывод диска во время процесса, так как хочу сделать это в живой среде. В SSH сессии 1: while true; do echo $RANDOM >> test; sleep 2; done В SSH сессии 2: tail -f test На протяжении всего процесса запись была возможна, и SSH сессия оставалась активной, пока я мигрировал VM между узлами. Что я сделал: - отредактировал публичную сеть Ceph до 10.10.10.1/24 в /etc/pve/ceph.conf, сохранил файл; - уничтожил / пересоздал всех мониторов по одному через GUI, они появятся с новым IP-адресом в новой сети, проверьте здоровье Ceph и VM между ними; - уничтожил / пересоздал всех менеджеров по одному через GUI, они появятся с новым IP-адресом в новой сети, проверьте здоровье Ceph и VM между ними; - перенес VM на другой узел; - перезагрузил один узел; - вернул VM обратно; - перезагрузил остальные узлы; - готово. Я был в шоке, я даже снова отделил публичную сеть Ceph после слияния, чтобы посмотреть, смогу ли я, и это работает отлично. Между прочим, я также проверял RBD watchers с rbd ls, нашел диск VM и проверил его с rbd status vm-100-disk-0, например, и увидел, что после живой миграции listener IP тоже меняется на новый. С помощью netstat -tulpn | grep ceph также видно, что старые IP-адреса исчезают после перезагрузки узлов. Я что-то упускаю, или это действительно так просто? Похоже, что да... С наилучшими пожеланиями, David