Проблема не в объеме логов, а в усилении записи. То есть, 50 ГБ записей (в основном логи и метрики) внутри ВМ усиливается в 20 раз, до 1 ТБ записей на физическую NAND SSD. Еще зависит от того, как ты хранишь логи. Все мои метрики и логи пишутся в БД (zabbix с MySQL для метрик и graylog с MongoDB/OpenSearch). Может, стоит настроить journald, чтобы он писал только в оперативную память, если тебе не жалко потерять логи при сбое/отключении питания. Помни, что обычно не стоит использовать более 80% от сырой емкости из-за copy-on-write. И если ты планируешь делать снимки, то лучше выделить для них место. Можно смешать SATA и NVMe. Но обычно это снизит производительность NVMe SSD до уровня SATA, если ты думаешь о чем-то вроде raidz1 (aka raid5).

Ну что, забыл выложить обновление в этой теме. Прежде чем решить, какие SSD брать, я немного поигрался с ZFS на одном новеньком MX500. За это время износ составил примерно 15-20% (кажется), что совершенно безумная цифра, увеличивающаяся примерно на 1% каждые пару недель. Нагрузка в то время состояла примерно из 5-6 ВМ (2 Docker ВМ, виртуализированный NAS (без всяких наворотов, просто SMB и NFS) и K3s на 2 ВМ (одна etcd нода, одна рабочая), и все, что я еще тестировал в тот момент). Я не думаю, что нагрузка была хоть сколько-нибудь сопоставима с 1 ТБ/день, скорее всего, около 50 КБ/с согласно htop (что, я думаю, до учета write amplification) или 4 ГБ/день, так что умножь это на 80 ГБ с предполагаемым коэффициентом write amplification в 20. Учитывая, что сейчас у меня более серьезная нагрузка, которая может еще увеличиться со временем, и поскольку корпоративные SSD, которые я выбрал (Intel SSDSC2KB96 и Samsung MZ7LH960 - выбрал разные, потому что цена на Intel сильно выросла после покупки первой) скорее всего, прослужат жизнь этого сервера и следующий, я думаю, это было хорошее решение. Текущий износ - 3% на Samsung SSD и 0% на Intel SSD, примерно через 9 месяцев постоянной работы.

Это станет медленнее. И ZFS, и SSD в целом нуждаются в свободном пространстве для полной производительности. Смешанные размеры блоков (например, ext4 в виртуалке пишет 4K блоки на virtio диск размером 512B в Zvol 16K), вложенные файловые системы, синхронные записи, которые нельзя закешировать без PLP, поэтому потребительские SSD не смогут оптимизировать записи для уменьшения износа, RAID добавляет данные четности или несколько копий каждого блока, шифрование (не знаю почему, но здесь удвоенное write amplification), фрагментированное хранилище, дешевый NAND, нагрузка с большим количеством мелких случайных записей вместо больших последовательных записей, слишком большой volblocksize...