Привет, Томас. У меня похожий вопрос по поводу MSCD: мы рассматриваем будущее использование DarkFibre для подключения 8-узлового кластера между двумя городами (~378 км). Мы рассчитали, что задержка должна быть достаточно низкой, и у нас будет контроль над волоконно-оптической связью, за исключением тех точек, которые будут переключаться и ретранслироваться провайдером. Мы хотим узнать, есть ли письменная документация о том, что трафик Corosync шифруется — в документации Corosync ничего не указывает на то, что трафик шифруется или как он шифруется: https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_cluster_network Спасибо, дай знать, если я что-то упустил, если нет, не мог бы кто-то из команды обновить документацию? Tmanok

Привет, Spirit. Наличие узла-свидетеля в другом дата-центре — хорошая идея. Тем не менее, задержка на оптике составит 3.8 мс (1 мс на каждые 100 км), если она будет свободна от всего остального трафика. Рекомендация в вики — около 5 мс и ниже 10 мс, так что если нам удастся это реализовать, я буду рад. Мы рассматриваем 2 оптических маршрута, чтобы в случае разрыва одного, другой находился в совершенно другом месте. Задержка может варьироваться от 3 мс до 5 мс в зависимости от маршрута. Мы хотим мгновенный переход, поэтому тщательно изучаем опции связи. Сейчас ключевым моментом является безопасность. Спасибо, наш текущий план — 4 кластера с по четыре узла в каждом, два кластера на каждом сайте, но межкластерная репликация пока не реализована как функция, и мы хотим соответствовать SLA. Tmanok

Репликация (асинхронная на основе PVE) будет происходить по VPLS-ссылкам отдельно от арендованных волоконно-оптических каналов, но это действительно хорошие оценки IOPS для хранения в зависимости от задержки. К сожалению, наши VPLS-ссылки сейчас имеют задержку 8-13 мс (62.5 IOPS по вашей оценке), мы планируем уменьшить задержку в основной сети, чтобы улучшить эту ситуацию, но вы правильно отметили, насколько осторожными мы должны быть с репликацией. Спасибо за ваши мысли, я действительно упустил из виду IOPS на мс пинга. При наличии, скажем, 20-40 основных ВМ, нам потребуется частая репликация — у меня сейчас нет точной оценки, сколько IOPS это может потребовать. Учтите, что базы данных будут реплицироваться отдельно на уровне приложения. Мне было бы интересно узнать, что вы используете для синхронной репликации (PVE, CEPH или SAN репликация). Возвращаясь к основной мысли, Томас, пожалуйста, пусть кто-то обновит эти документы или дайте знать, прописана ли в техническом документе зашифровка corosync. Спасибо, Tmanok.