Привет, у меня есть кластер PVE 8.4.1 с тремя узлами, который я в основном использую как лабораторию для команды из 10-15 разработчиков, чтобы они могли практиковаться и обучаться. Вот приблизительные характеристики машин:
* HP Z6 G4 - один процессор Xeon Gold 5220 - 384 ГБ памяти 2666 МГц
* HP Z840 - два процессора Xeon E5-2699 V3 - 512 ГБ памяти 2133 МГц
* HP Z840 - два процессора Xeon E5-2680 V4 - 512 ГБ памяти 2400 МГц
В каждой машине у меня есть 6 потребительских M.2 SSD для хранения рабочей нагрузки (операционная система работает на другом устройстве), подключенные следующим образом:
* HP Z6 G4 - 2 устройства M.2 подключены напрямую к материнской плате и 4 устройства M.2 подключены к слоту PCIE Asus M.2 X16 4.
* Оба HP Z840 - 2 устройства на 2-слотовой карте M.2 PCIE (марку не помню) и 4 устройства M.2 подключены к слоту PCIE Asus M.2 X16 4.
Изначально я настроил один зеркалированный пул ZFS, используя 2 устройства M.2 на каждой машине (2TB SSD, эффективный размер 2TB), а затем создал кластер Ceph, используя все 12 устройств M.2 на слоте PCIE Asus. Наши рабочие нагрузки в основном это K8S-кластеры с узлами, размещенными на виртуальных машинах Proxmox, которые я распределяю по 3 узлам. Однако, с кластером Ceph я постоянно видел всплески задержки чтения/записи до более чем 100 мс, что вызывало множество прерываний в работе разработчиков. Всё было в порядке с пулом ZFS, поэтому в прошлые выходные я уничтожил пул Ceph и перенаправил SSD для создания второго пула ZFS на каждом узле (каждый узел с 4 устройствами M.2 в конфигурации RAID10, каждое SSD объемом 2TB, поэтому у меня эффективный размер 4TB после RAID10). Я подумал, что, поскольку первый пул ZFS работал хорошо, второй тоже должен работать. Я также решил, что у меня достаточно памяти для ARC для обоих пулов. Однако, когда разработчики начали использовать кластер, мы столкнулись с серьезными узкими местами ввода-вывода. В iostat w\_await периодически достигал очень высоких значений в сотнях миллисекунд (см. прикрепленный файл, мои устройства M.2 имеют префикс "nvme") и вся машина зависала (ещё хуже, чем с Ceph). Я не ограничивал объем памяти, используемой для ARC, и при проверке arcstats могу подтвердить, что использую примерно половину памяти системы (пример для Z840 с 512 ГБ памяти: Code: root@pve03:~# cat /proc/spl/kstat/zfs/arcstats | grep "^size" size 4 261057627064).
Из собственных расчетов я думаю, что приложения в кластере, вероятно, пишут не более 200-300 МБ/с данных в пул ZFS в пике, и я не могу понять, в чем моя узкое место: Используемый слот PCIE — X16 с включенным разветвлением x4x4x4x4 — с PCIE 3.0 я должен получать пропускную способность ~16 ГБ/с, что составляет 4 ГБ/с для каждого M.2. Кроме того, хотя устройства M.2 и являются потребительскими, они получили довольно хорошие отзывы, и хотя я не ждал чудес, я не ожидал, что они будут так сильно ограничивать пропускную способность. В обоих пулах ZFS текущее использование диска также ниже 40%, так что проблема не в том, что использование диска достигает 80%. Сейчас мне кажется, что каждый раз, когда кто-то просто развертывает приложение в K8S и когда K8S начинает загружать образы и развертывать их, вся машина начинает "шалить", и хотя это не производственная проблема, это вызывает значительные задержки в производительности для моей команды, работающей над этим. Буду очень признателен, если кто-то с большим опытом взглянет на мою конфигурацию, как описано выше, и скажет, не допустил ли я каких-либо вопиющих ошибок в настройке и не существует ли лучшего способа ее организации.
Спасибо,
Вонг
* HP Z6 G4 - один процессор Xeon Gold 5220 - 384 ГБ памяти 2666 МГц
* HP Z840 - два процессора Xeon E5-2699 V3 - 512 ГБ памяти 2133 МГц
* HP Z840 - два процессора Xeon E5-2680 V4 - 512 ГБ памяти 2400 МГц
В каждой машине у меня есть 6 потребительских M.2 SSD для хранения рабочей нагрузки (операционная система работает на другом устройстве), подключенные следующим образом:
* HP Z6 G4 - 2 устройства M.2 подключены напрямую к материнской плате и 4 устройства M.2 подключены к слоту PCIE Asus M.2 X16 4.
* Оба HP Z840 - 2 устройства на 2-слотовой карте M.2 PCIE (марку не помню) и 4 устройства M.2 подключены к слоту PCIE Asus M.2 X16 4.
Изначально я настроил один зеркалированный пул ZFS, используя 2 устройства M.2 на каждой машине (2TB SSD, эффективный размер 2TB), а затем создал кластер Ceph, используя все 12 устройств M.2 на слоте PCIE Asus. Наши рабочие нагрузки в основном это K8S-кластеры с узлами, размещенными на виртуальных машинах Proxmox, которые я распределяю по 3 узлам. Однако, с кластером Ceph я постоянно видел всплески задержки чтения/записи до более чем 100 мс, что вызывало множество прерываний в работе разработчиков. Всё было в порядке с пулом ZFS, поэтому в прошлые выходные я уничтожил пул Ceph и перенаправил SSD для создания второго пула ZFS на каждом узле (каждый узел с 4 устройствами M.2 в конфигурации RAID10, каждое SSD объемом 2TB, поэтому у меня эффективный размер 4TB после RAID10). Я подумал, что, поскольку первый пул ZFS работал хорошо, второй тоже должен работать. Я также решил, что у меня достаточно памяти для ARC для обоих пулов. Однако, когда разработчики начали использовать кластер, мы столкнулись с серьезными узкими местами ввода-вывода. В iostat w\_await периодически достигал очень высоких значений в сотнях миллисекунд (см. прикрепленный файл, мои устройства M.2 имеют префикс "nvme") и вся машина зависала (ещё хуже, чем с Ceph). Я не ограничивал объем памяти, используемой для ARC, и при проверке arcstats могу подтвердить, что использую примерно половину памяти системы (пример для Z840 с 512 ГБ памяти: Code: root@pve03:~# cat /proc/spl/kstat/zfs/arcstats | grep "^size" size 4 261057627064).
Из собственных расчетов я думаю, что приложения в кластере, вероятно, пишут не более 200-300 МБ/с данных в пул ZFS в пике, и я не могу понять, в чем моя узкое место: Используемый слот PCIE — X16 с включенным разветвлением x4x4x4x4 — с PCIE 3.0 я должен получать пропускную способность ~16 ГБ/с, что составляет 4 ГБ/с для каждого M.2. Кроме того, хотя устройства M.2 и являются потребительскими, они получили довольно хорошие отзывы, и хотя я не ждал чудес, я не ожидал, что они будут так сильно ограничивать пропускную способность. В обоих пулах ZFS текущее использование диска также ниже 40%, так что проблема не в том, что использование диска достигает 80%. Сейчас мне кажется, что каждый раз, когда кто-то просто развертывает приложение в K8S и когда K8S начинает загружать образы и развертывать их, вся машина начинает "шалить", и хотя это не производственная проблема, это вызывает значительные задержки в производительности для моей команды, работающей над этим. Буду очень признателен, если кто-то с большим опытом взглянет на мою конфигурацию, как описано выше, и скажет, не допустил ли я каких-либо вопиющих ошибок в настройке и не существует ли лучшего способа ее организации.
Спасибо,
Вонг
