Аспро: ЛайтШоп [тема: Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.]

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 14 Feb 2025 23:44:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, нужно и то, и другое одновременно, и это работает!
14.02.2025 23:44:00, mr44er.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 14 Feb 2025 21:49:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, попробовал также экспортировать HSA_ENABLE_SDMA=0. Помню, что в работающей VM у меня была rocm5.7, но поверх нее ZLUDA. Так что короткий ответ — да. Возможно, мешает более новая версия или вторая GPU. Код: lspci | grep VGA
07:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Vega 10 XL/XT [Radeon RX Vega 56/64] (rev c1)
0e:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Raphael (rev c1) Стоит попробовать их по отдельности...
14.02.2025 21:49:00, mr44er.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 14 Feb 2025 21:38:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Странно! Там ещё была какая-то переменная в треде, ты пробовал эти? Да, rocminfo работает. Твоя GPU поддерживается ROCm?
14.02.2025 21:38:00, spiralsugarcane.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 14 Feb 2025 21:27:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да. Пытался даже экспортировать HSA_OVERRIDE_GFX_VERSION= "9.0.0". Работает ли rocminfo в твоём LXC?
14.02.2025 21:27:00, mr44er.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 14 Feb 2025 20:14:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Круто. Пришлось пройти только /dev/kbd и /dev/dri/renderD12*, а не /dev/dri/card*. Ты установил правильную переменную окружения в контейнере? Vega64 – это GFX9 карта https://llvm.org/docs/AMDGPUUsage.html#processors Код: echo "export HSA_OVERRIDE_GFX_VERSION=9.0.0" >> .profile
14.02.2025 20:14:00, spiralsugarcane.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 14 Feb 2025 10:58:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Подтверждаю, что инструкции работают и ollama корректно распознает GPU при запуске. Это был просто мой быстрый тест, я не копался в этом дальше и не знаю, что такое ollama на самом деле. Моя цель — запустить Stable Diffusion. Однако, мне неясно, нужно ли и почему /dev/dri/cardX (у меня их несколько, card1<->renderD128, card2<->renderD129). Я тестировал на Arch, Debian и Ubuntu, с передачей card1 и без, предварительный тест с rocminfo всегда падает: Код: Модуль ROCk загружен
Ошибка вызова API hsa на: /long_pathname_so_that_rpms_can_package_the_debug_info/src/rocminfo/rocminfo.cc:1282
Вызов вернул HSA_STATUS_ERROR_OUT_OF_RESOURCES: Runtime не смог выделить необходимые ресурсы. Эта ошибка также может возникать, когда основной runtime требует создания потоков или внутренних OS-специфических событий. Передача этой GPU (Vega64) в VM работает (и SD тоже), так что эта GPU в целом способна, но у неё, ёлки-палки, этот баг с перезагрузкой, который я надеюсь обойти с помощью LXC.
14.02.2025 10:58:00, mr44er.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 25 Dec 2024 11:26:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отлично! Рад помочь!
25.12.2024 11:26:00, spiralsugarcane.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 25 Dec 2024 11:25:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я удалил dkms в контейнере и настроил проброс устройств. Работает! Огромное спасибо за поддержку!
25.12.2024 11:25:00, yuri.karadzhov.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 25 Dec 2024 10:54:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Я ничего не устанавливал на хост, так как драйвер amdgpu и модуль ядра уже были загружены и включены вместе с Proxmox. Если у тебя GPU, для которого по какой-то причине нужно установить конкретный драйвер, возможно, тебе потребуется использовать DKMS на хосте. Раз это контейнер, то ядро с ним разделяется, и контейнер не имеет никаких привилегий (если он непривилегированный) для установки каких-либо модулей ядра. В контейнере я установил rocm, а затем Docker. Потом запустил ollama и openwebui в Docker. Что касается проблем с правами доступа. Тебе сначала нужно передать /dev/dri/renderD*** и /dev/kfd в LXC контейнер, указав правильный uid и gid в Proxmox, как описано выше. Тебе также нужно передать те же пути к устройствам в Docker контейнер ollama. Если ты запускаешь ollama без Docker, то ничего делать не нужно. Вот мой lxc config файл, расположенный в /etc/pve/lxc:

```
arch: amd64
cores: 8
dev0: /dev/kfd,gid=993,uid=0
dev1: /dev/dri/renderD129,gid=44
features: keyctl=1,nesting=1
hostname: ollama
memory: 32768
net0: name=eth0,bridge=vmbr0,hwaddr=*******,ip=dhcp,type=veth
onboot: 1
ostype: ubuntu
parent: start1
rootfs: local-zfs:vm-310-disk-0,size=100G
swap: 512
unprivileged: 1
```

Вот мой docker compose файл (мелочь, используй только docker compose, а не docker-compose):

```
services:
openWebUI:
image: ghcr.io/open-webui/open-webui:main
restart: always
ports:
- "3000:8080"
extra_hosts:
- "host.docker.internal:host-gateway"
volumes:
- /opt/docker/open-webui:/app/backend/data

ollama:
image: ollama/ollama:rocm
restart: always
devices:
- /dev/kfd
- /dev/dri
ports:
- "11434:11434"
volumes:
- /opt/docker/ollama:/root/.ollama
```
25.12.2024 10:54:00, spiralsugarcane.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 25 Dec 2024 02:35:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Поиграл с контейнером, но вылезла такая ошибка при попытке запуска Ollama: Код: amdgpu устройства обнаружены, но проблемы с разрешениями блокируют доступ: драйвер kfd не загружен. Если запускаешь в контейнере, не забудь добавить '--device /dev/kfd --device /dev/dri'.
25.12.2024 02:35:00, yuri.karadzhov.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 25 Dec 2024 00:08:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @spiralsugarcane, спасибо, что поделился своим опытом. Не мог бы ты, пожалуйста, предоставить более подробные инструкции по установке ROCm? Установил ли ты что-то конкретное для хост-машины? Что было установлено в контейнер? Какие репозитории были добавлены? Пошаговая инструкция будет очень полезной для многих людей. Спасибо заранее!
25.12.2024 00:08:00, yuri.karadzhov.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 18 Dec 2024 23:41:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Интересно, спасибо за обновление. Пользователь rocketpants выше тоже имел такую же GPU, возможно, там есть одинаковое решение. Похоже, предустановленные драйвера в Proxmox несовместимы с твоей картой. У меня немного устаревшая Radeon VII 16GB, и драйвера в Proxmox работали прекрасно. Кстати, и ROCm, и Ollama работают без проблем, но довольно медленно, как и ожидалось для такой старой карты.
18.12.2024 23:41:00, spiralsugarcane.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 18 Dec 2024 04:28:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, spiralsugarcane, спасибо, что показал, что rocm можно использовать внутри контейнера! После твоего поста я успешно установил rocm 6.3 в контейнере Ubuntu 24.04 на хосте с Proxmox 8.3. Однако, когда я запустил rocminfo в контейнере, получил ошибку HSA_STATUS_ERROR_OUT_OF_RESOURCES. Также PyTorch не мог использовать GPU, так как torch.cuda.is_available() вернул FALSE, даже с установленной переменной окружения HSA_OVERRIDE_GFX_VERSION, установленной в 11.0.0. Не знаю, связано ли это с моей RX 7800XT, так как она не официально поддерживается в rocm. Не мог бы ты рассказать, какую GPU ты используешь?

Редактирование 1: Я только что заметил, что ты упомянул "установить ROCm согласно официальным инструкциям, но не использовать DKMS, так как драйверы уже установлены на Proxmox по умолчанию". Это значит, что мне нужно установить amdgpu-dkms на хосте?

Редактирование 2: Мне удалось запустить PyTorch с rocm внутри контейнера. Хост должен иметь установленный модуль DKMS.
18.12.2024 04:28:00, muyue.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 29 Nov 2024 23:58:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не-а. Просто в контейнере.
29.11.2024 23:58:00, rocketpants.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 29 Nov 2024 23:24:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Понял, скрипт tteck – Ubuntu 22, а не 24. Я просто клонировал shell-скрипт и изменил версию на 24.4.
29.11.2024 23:24:00, NureddinDev.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 29 Nov 2024 22:49:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я использовал этот скрипт, а потом запустил это внутри контейнера:

Код: `wget https://repo.radeon.com/amdgpu-install/6.2.4/ubuntu/noble/amdgpu-install_6.2.60204-1_all.deb`
`sudo apt install ./amdgpu-install_6.2.60204-1_all.deb`
`amdgpu-install --usecase=rocm --no-dkms`

После этого возникла эта ошибка во время установки:

Код: `The following packages have unmet dependencies:`
` hipsolver : Depends: libcholmod5 but it is not installable`
` Depends: libsuitesparseconfig7 but it is not installable`
` mesa-amdgpu-va-drivers : Depends: libva2 (>= 2.16.0) but 2.14.0-1 is to be installed or`
` libva2-amdgpu but it is not installable`
` Depends: libva-drm2 (>= 2.16.0) but 2.14.0-1 is to be installed or`
` libva-amdgpu-drm2 but it is not installable`
` Depends: libva-wayland2 (>= 2.16.0) but 2.14.0-1 is to be installed or`
` libva-amdgpu-wayland2 but it is not installable`
` Depends: libva-x11-2 (>= 2.16.0) but 2.14.0-1 is to be installed or`
` libva-amdgpu-x11-2 but it is not installable`
` Depends: libc6 (>= 2.38) but 2.35-0ubuntu3.8 is to be installed`
` Depends: libdrm-amdgpu-amdgpu1 but it is not installable`
` Depends: libdrm-amdgpu-radeon1 but it is not going to be installed`
` Depends: libdrm2-amdgpu but it is not installable`
` Depends: libelf1t64 (>= 0.142) but it is not installable`
` Depends: libllvm18.1-amdgpu but it is not going to be installed`
` Depends: libx11-xcb1 (>= 2:1.8.7) but 2:1.7.5-1ubuntu0.3 is to be installed`
` Depends: libzstd1 (>= 1.5.5) but 1.4.8+dfsg-3build1 is to be installed`
` rccl : Depends: libc6 (>= 2.38) but 2.35-0ubuntu3.8 is to be installed`
` Depends: libstdc++6 (>= 13.1) but 12.3.0-1ubuntu1~22.04 is to be installed`
` rocm-gdb : Depends: libc6 (>= 2.38) but 2.35-0ubuntu3.8 is to be installed`
` Depends: libgmp10 (>= 2:6.3.0+dfsg) but 2:6.2.1+dfsg-3ubuntu1 is to be installed`
` Depends: libpython3.12t64 (>= 3.12.1) but it is not installable`
` Depends: libzstd1 (>= 1.5.5) but 1.4.8+dfsg-3build1 is to be installed`
` rocprofiler-register : Depends: libc6 (>= 2.38) but 2.35-0ubuntu3.8 is to be installed`
` Depends: libstdc++6 (>= 13.1) but 12.3.0-1ubuntu1~22.04 is to be installed`
`E: Unable to correct problems, you have held broken packages.`
29.11.2024 22:49:00, NureddinDev.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 29 Nov 2024 21:52:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты установил ROCm на хост? Странно. Я это сделал в новом контейнере Ubuntu 24.04, и таких сообщений у меня не было. Возможно, проблема в каком-то софте, который ты установил раньше. Ты используешь "noble" ссылку. Ты на 24.04, а не на 22.04? Мне ничего не пришлось делать, кроме как следовать инструкциям, которые у меня тут.
29.11.2024 21:52:00, spiralsugarcane.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Fri, 29 Nov 2024 20:09:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня RX 7800XT
root@docker:~# amdgpu-install --usecase=rocm --no-dkms
Hit:1 http://deb.debian.org/debian bookworm InRelease
Hit:2 http://security.debian.org bookworm-security InRelease
Hit:3 http://deb.debian.org/debian bookworm-updates InRelease
Hit:4 https://download.docker.com/linux/debian bookworm InRelease
Hit:5 https://repo.radeon.com/amdgpu/6.2.4/ubuntu noble InRelease
Hit:6 https://repo.radeon.com/rocm/apt/6.2.4 noble InRelease
Reading package lists... Done
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Не удалось установить некоторые пакеты. Возможно, вы запросили невозможную ситуацию, либо, если вы используете нестабильную версию дистрибутива, некоторые необходимые пакеты ещё не созданы или были перемещены из Incoming.
Следующая информация может помочь в разрешении ситуации:

Следующие пакеты имеют неудовлетворённые зависимости:
hipsolver : Зависит: libcholmod5, но он не устанавливается
Зависит: libsuitesparseconfig7, но он не устанавливается
mesa-amdgpu-va-drivers : Зависит: libc6 (>= 2.38), но устанавливается 2.36-9+deb12u9
Зависит: libdrm-amdgpu-amdgpu1, но он не устанавливается
Зависит: libdrm-amdgpu-radeon1, но он не будет установлен
Зависит: libdrm2-amdgpu, но он не устанавливается
Зависит: libelf1t64 (>= 0.142), но он не устанавливается
Зависит: libllvm18.1-amdgpu, но он не будет установлен
Зависит: libx11-xcb1 (>= 2:1.8.7), но устанавливается 2:1.8.4-2+deb12u2
Зависит: libzstd1 (>= 1.5.5), но устанавливается 1.5.4+dfsg2-5
rccl : Зависит: libc6 (>= 2.38), но устанавливается 2.36-9+deb12u9
Зависит: libstdc++6 (>= 13.1), но устанавливается 12.2.0-14
rocm-gdb : Зависит: libc6 (>= 2.38), но устанавливается 2.36-9+deb12u9
Зависит: libgmp10 (>= 2:6.3.0+dfsg), но устанавливается 2:6.2.1+dfsg1-1.1
Зависит: libpython3.12t64 (>= 3.12.1), но он не устанавливается
Зависит: libzstd1 (>= 1.5.5), но устанавливается 1.5.4+dfsg2-5
rocprofiler-register : Зависит: libc6 (>= 2.38), но устанавливается 2.36-9+deb12u9
Зависит: libstdc++6 (>= 13.1), но устанавливается 12.2.0-14
E: Unable to correct problems, you have held broken packages.

Стоит ли устанавливать какие-нибудь зависимости или моя видеокарта не поддерживается ROCm?
29.11.2024 20:09:00, NureddinDev.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Wed, 27 Nov 2024 02:27:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за заметки, мне тоже пришлось предпринять дополнительные шаги на Proxmox v8.3. При установке ROCm изменил стандартные инструкции с Code: sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)" на Code: sudo apt install "proxmox-default-headers" "proxmox-headers-6.5". Также пришлось добавить переменные окружения Code: Environment="ROCR_VISIBLE_DEVICES=0" Environment="HSA_OVERRIDE_GFX_VERSION=10.3.0" в Code: /etc/systemd/system/ollama.service.
27.11.2024 02:27:00, rocketpants.

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере.

Sun, 24 Nov 2024 00:24:00 +0300

Учебник: Запуск LLM с использованием GPU AMD и ROCm в не привилегированном LXC контейнере. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Создайте контейнер Ubuntu 24.04 LXC. Я использовал отличный скрипт tteck, но можно использовать любой другой метод, который вам удобен. Выделите ему приличное количество ресурсов по объему хранилища, ОЗУ и процессору (согласно рекомендациям Ollama). Я выбрал 32 ГБ и все доступные ядра. Выделите достаточно места для хранения ваших моделей (можно расширить через GUI). Я выбрал 60 ГБ для начала. ROCm занимает около 30 ГБ. Внутри контейнера LXC: установите ROCm согласно официальным инструкциям, но не используйте DKMS, так как драйверы уже установлены по умолчанию в Proxmox. Это назначение флага `--no-dkms`. Код: wget https://repo.radeon.com/amdgpu-install/6.2.4/ubuntu/noble/amdgpu-install_6.2.60204-1_all.deb
sudo apt install ./amdgpu-install_6.2.60204-1_all.deb
amdgpu-install --usecase=rocm --no-dkms Установите переменные окружения, как обсуждалось в этой теме: Проверьте, какие идентификаторы групп отвечают за render и video внутри контейнера. Код: cat /etc/group | grep -w 'render\|\video' На Proxmox хосте: Найдите путь к устройству render вашей AMD GPU, чтобы использовать его на следующем шаге: Код: ls -l /sys/class/drm/renderD*/device/driver В GUI Proxmox, перейдите в Options и настройте Device Passthrough. Код: /dev/kbd Используйте GID контейнера для группы render внутри контейнера, а uid оставьте равным 0. Код: /dev/dri/renderD*** Используйте GID для видео группы и оставьте uid равным 0. Перезапустите контейнер и переходите к установке ollama согласно инструкциям на репозитории Github. Вы можете проверить на хосте с помощью radeontop, если ваша GPU работает и используется. Код: apt update && apt install radeontop
24.11.2024 00:24:00, spiralsugarcane.