Мы всё ещё на этапе оценки, система не в финальной конфигурации, и у меня пока нет хорошего, систематизированного подхода к тестированию, просто "хаотичное" тестирование и изменение одного параметра за раз. Это минимальный (в плане стоимости) риф-кластер CEPH на PVE 8.3 с 3 Dell R6615 с 2x Dell-branded 960 GB NVMe PCIe 4.0, 10 GBE mesh-сеть FRR для CEPH, и мы работаем на пределе сети, но ещё не на дисках. "Сырая" пропускная способность диска — 7,9 ГБ/с, как и следовало бы ожидать от PCIe 4.0 NVMe. Мы тестировали всё с помощью CrystalDisk на Windows в качестве VM (по желанию клиентов, важна последовательная пропускная способность, поэтому любые цифры именно такие) и с одним диском ZFS (primarycache=metadata) и также LVM в качестве эталона. Обе дают хорошие значения, как и следовало бы подозревать. ZFS без ARC-кэширования — около 3,5 ГБ/с, с ARC почти наравне с LVM — 7,6 ГБ/с. С опцией default можно увидеть, что сеть CEPH используется примерно 1,6 ГБ/с (оба канала mesh-сети), а с опцией localize — всего 200 МБ/с. Опция balance показывает более высокую пропускную способность сети — около 1,8 ГБ/с, а пропускная способность диска увеличивается с 2,3 (default) до 2,6 (balance) до 3,1 ГБ/с (localize). Кажется, опция меняется онлайн, и вы видите немедленное изменение сетевого трафика и увеличение пропускной способности диска. Мы всё ещё пытаемся оптимизировать OSD и количество PGs, но пока не видим чёткой картины, что лучше всего. Лучший 4K-запись с произвольным доступом имеет худшую последовательную пропускную способность и наоборот. В другом производственном кластере с 3 узлами с локальными SATA SSD, прирост более заметен, но цифры нужно воспринимать с осторожностью из-за помех от нормальной нагрузки на тесты, но можно увидеть, что числа последовательного чтения на 20% лучше (default сверху, localized снизу, balance был таким же, как default). Так что это может быть значительное улучшение скорости для 3-узловых кластеров.