http://proxmox.su Новое в теме Можно ли эмулировать GPU для больших языковых моделей? форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 19 Apr 2026 16:06:13 +0300 Можно ли эмулировать GPU для больших языковых моделей? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Зависит от твоих ожиданий. У меня вот что: https://localai.io/basics/container/#all-in-one-images в VM, используя Docker ( docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu) = без GPU. Для меня работает с некоторыми предложенными моделями — и без каких-либо заморочек, совершенно без усилий.
31.03.2025 10:53:00, UdoB.]]> http://proxmox.su/forum/messages/forum63/message327670/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley http://proxmox.su/forum/messages/forum63/message327670/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley Mon, 31 Mar 2025 10:53:00 +0300 Proxmox Виртуальная Среда Можно ли эмулировать GPU для больших языковых моделей? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Просто идея https://docs.unsloth.ai/basics/tutorial-how-to-run-deepseek-v3-0324-locally.
Код: Получите последнюю версию llama.cpp на GitHub здесь. Можно также следовать инструкциям по сборке ниже.
Измените -DGGML_CUDA=ON на -DGGML_CUDA=OFF, если у вас нет GPU или вы просто хотите вывод только на CPU, и эта часть Код: GPU не обязателен. Вы можете запустить модель без GPU, но старайтесь этого не делать, если вы не используете объединенную память Apple.
Постарайтесь иметь не менее 180 ГБ объединенной VRAM + RAM, чтобы получить скорость ~2 токена/с, иначе модель будет слишком медленной для работы.

Хотя минимальным требованием является CPU с 60 ГБ RAM, производительность будет очень низкой.
Ожидайте менее 1,5 токена в секунду на минимальном оборудовании — но это не значит, что вы не можете экспериментировать! Использование GPU сделает вывод быстрее. С этого места https://unsloth.ai/blog/deepseek-v3-0324
30.03.2025 23:57:00, somebodyoverthere.]]> http://proxmox.su/forum/messages/forum63/message327669/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley http://proxmox.su/forum/messages/forum63/message327669/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley Sun, 30 Mar 2025 23:57:00 +0300 Proxmox Виртуальная Среда Можно ли эмулировать GPU для больших языковых моделей? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Возможно, получится преобразовать программный графический движок с открытым исходным кодом LLVMpipe во что-то подобное. Расскажи нам, как продвигается работа.
30.03.2025 22:29:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message327668/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley http://proxmox.su/forum/messages/forum63/message327668/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley Sun, 30 Mar 2025 22:29:00 +0300 Proxmox Виртуальная Среда Можно ли эмулировать GPU для больших языковых моделей? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть ли способ, может, с помощью плагина или чего-то подобного, эмулировать GPU, и для VRAM выделить, скажем, SSD или что-то в этом роде? Очевидно, это будет очень медленно, но это, возможно, позволит запускать даже очень большие LLM локально без покупки настоящей видеокарты. А есть вообще такая возможность?
30.03.2025 22:25:00, Red Squirrel.]]> http://proxmox.su/forum/messages/forum63/message327667/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley http://proxmox.su/forum/messages/forum63/message327667/78194-mozhno-li-emulirovat-gpu-dlya-bolshikh-yazykovykh-modeley Sun, 30 Mar 2025 22:25:00 +0300 Proxmox Виртуальная Среда