+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Бывший узел кластера часто пишет в pve-cluster и pve-replication., Proxmox Виртуальная Среда

chill

Guest

02.09.2023 21:03:00

Привет! Использую Running 8.0.4 на чистой установке. Этот хост был добавлен в кластер, на него были перенесены ВМ, а затем был выведен из кластера по инструкции "Separate a Node Without Reinstalling". Пока всё хорошо. Проблема в том, что следующие файлы перезаписываются/создаются заново каждые 60 секунд. Делаю zfs snapshot и diff:

```
# zfs diff rpool/ROOT/pve-1@snap1 rpool/ROOT/pve-1@snap2
M /var/lib/pve-manager
M /var/lib/pve-cluster/config.db-wal
M /var/lib/pve-cluster/config.db-shm
+ /var/lib/pve-manager/pve-replication-state.json
- /var/lib/pve-manager/pve-replication-state.json
```

Файл `/var/lib/pve-manager/pve-replication-state.json` содержит только `{}`. Также `pvesr status` ничего не показывает, а в логах `pvescheduler` после запуска вижу следующее:

```
pvescheduler[101516]: jobs: cfs-lock 'file-jobs_cfg' error: no quorum!
pvescheduler[101515]: replication: cfs-lock 'file-replication_cfg' error: no quorum!
```

Есть ли какой-нибудь таймер или что-то подобное, что нужно остановить? Спасибо!

tkittich

Guest

14.08.2024 10:48:00

Привет, кто-нибудь нашёл решение? Только что выяснил, что у меня похожая проблема. Оказывается, эти файлы пишутся на диск каждые минуту!! Этот нод не входит в кластер и у него нет заданий на репликацию вообще. Код: /var/lib/pve-manager /var/lib/pve-manager/pve-replication-state.json /var/lib/pve-cluster/config.db-shm /var/lib/pve-cluster/config.db-wal Я ещё отключил HA и corosync, чтобы свести к минимуму записи на диск. Есть ли ещё какие-то сервисы, которые стоит остановить? Код: systemctl disable --now pve-ha-crm.service systemctl disable --now pve-ha-lrm.service systemctl disable --now corosync.service

VictorSTS

Guest

16.08.2024 15:08:00

Эти файлы обновляются службой pve-cluster, которая нужна даже если у тебя нет кластера, так как она предоставляет Proxmox Cluster Filesysme (pmxcfs), генерирующую директорию /etc/pve, где находятся настройки [1]. Проблем быть не должно. [1] https://pve.proxmox.com/wiki/Service_daemons#pve-cluster

tkittich

Guest

19.08.2024 12:59:00

Спасибо за ответ. Раз этот узел не входит в кластер, можно ли смонтировать /var/lib/pve-manager и /var/lib/pve-cluster/ со свойством ZFS `sync=disabled`? Это отключит синхронные записи и, возможно, снизит постоянные записи на диск pve-cluster. Этот ZFS пул использует специальный vdev на твердотельных накопителях, поэтому постоянные записи на диск нежелательны.

VictorSTS

Guest

19.08.2024 13:53:00

Я бы вообще это не трогал. Если эти несколько байт в минуту, которые пишут эти процессы, как-то влияют на твои диски, замени их на нормальное оборудование. Что угодно будет писать больше байт, чем это: логи, бэкапы, задачи, сами ВМ и т.д.

esi_y Guest	#6 0 13.09.2024 20:28:00 Ну что, пока я всё больше и больше разбираюсь в этих темах, заметил одну и ту же закономерность — всем советуют использовать SSD PLP и не заморачиваться с причинами реализации чего-то очень необычного: https://forum.proxmox.com/threads/etc-pve-500k-600m-amplification.154074/#post-701223 Если кто-то (@chill, @tkittich) попал в эту ситуацию и готов попробовать альтернативные pmxcfs, дайте знать. В свою очередь, это поможет выяснить, какие процессы реально пишут больше одного блока, а какие просто постоянно что-то пишут, и кого можно будет оптимизировать в следующий раз.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры