Аспро: ЛайтШоп [тема: Ceph и trim/discard.]

Ceph и trim/discard.

Wed, 29 Mar 2023 21:46:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Недавно обнаружили ошибку в ext4 (не связана с Ceph), из-за которой можно выполнить trim только один раз для экстента. Лично я использую xfs для своих ВМ, использую Ceph с 2015 года, 4000 ВМ, librbd, и у меня никогда не было проблем с discard. (Windows NTFS тоже работает отлично).
29.03.2023 21:46:00, spirit.

Ceph и trim/discard.

Wed, 29 Mar 2023 20:48:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Итак, чтобы подвести черту: у нас есть два независимых человека, которые сообщают, что TRIM/DISCARD не работает для ВМ на Ceph RBD, и мы до сих пор не знаем почему после двух лет? Вы пробовали `bdev_async_discard` и `bdev_enable_discard` глобально (или на каждом OSD)? Источники: https://forum.proxmox.com/threads/ceph-command-to-enable-trim.117523/ и https://forum.proxmox.com/threads/trim-discard-with-ceph-rbd.77756/ Вы пробовали, исправлено ли это в Proxmox VE 7.4?
29.03.2023 20:48:00, kwinz.

Ceph и trim/discard.

Mon, 17 Oct 2022 18:00:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Извини, fstrim -av и используй virtio-scsi диск + включи опцию discard. pve - Virtual Environment 6.4-4 + Ceph Nautilus.
17.10.2022 18:00:00, europsys29.

Ceph и trim/discard.

Mon, 17 Oct 2022 13:26:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
"fstab"? Да ладно, должно быть "fstrim". Используй "fstrim -a" и диск virtio-scsi с включенным параметром discard. Должно работать сразу, как рукой снимет.
17.10.2022 13:26:00, spirit.

Ceph и trim/discard.

Sun, 16 Oct 2022 12:14:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у меня та же проблема. После года в продакшене thin provisioning перестал работать. Я делал `fstab -av -space released`, но Proxmox/Ceph данные не обновляет.
16.10.2022 12:14:00, europsys29.

Ceph и trim/discard.

Tue, 08 Oct 2024 08:13:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Извини, что поднимаю такую старую тему, но я столкнулся, видимо, с той же проблемой, и в итоге всё заработало, как и должно было, но виртуальная машина не была в состоянии, в котором могла бы работать. Диск виртуальной машины был сильно фрагментирован, так что в каждом 1 МБ блоке пула rbd находилось немного данных. Чтобы вернуть свободное место, мне пришлось перераспределить данные на виртуальном диске, и затем, после тримминга, получил желаемый эффект. Для ext4 процедура очень простая: загрузиться в live linux, fsck диска, resize2fs -M -p , resize2fs -p и тогда ты вернешь гораздо больше места. Это можно сделать и для других файловых систем тоже.
08.10.2024 08:13:00, LnxBil.

Ceph и trim/discard.

Wed, 29 Mar 2023 21:53:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это здорово, спасибо! Кстати, не могли бы вы поделиться ссылкой, обсуждением в рассылке, номером задачи или номером коммита с исправлениями для бага ext4, где trim используется только один раз на экстенте? Хочу убедиться, что мой ядро не затронуто.
29.03.2023 21:53:00, kwinz.

Ceph и trim/discard.

Thu, 19 Nov 2020 11:05:00 +0300

Ceph и trim/discard. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! На своем кластере (PVE 5.4, Ceph luminous) обнаружил много ВМ (в основном старые), которые не освобождают место на RBD даже после trim. Например, есть ВМ с выделенным пространством в 400ГБ, а rbd du показывает 399ГБ, при этом df -h внутри ВМ показывает, что используется 200ГБ. Trim работает успешно, в fstab есть discard, но ничего не меняется. Погуглил много и нашел другие темы на этом форуме, но реального решения не нашлось. Есть какие-нибудь идеи?
19.11.2020 11:05:00, John.N.