Просто идея https://docs.unsloth.ai/basics/tutorial-how-to-run-deepseek-v3-0324-locally.
Код: Получите последнюю версию llama.cpp на GitHub здесь. Можно также следовать инструкциям по сборке ниже.
Измените -DGGML_CUDA=ON на -DGGML_CUDA=OFF, если у вас нет GPU или вы просто хотите вывод только на CPU, и эта часть Код: GPU не обязателен. Вы можете запустить модель без GPU, но старайтесь этого не делать, если вы не используете объединенную память Apple.
Постарайтесь иметь не менее 180 ГБ объединенной VRAM + RAM, чтобы получить скорость ~2 токена/с, иначе модель будет слишком медленной для работы.

Хотя минимальным требованием является CPU с 60 ГБ RAM, производительность будет очень низкой.
Ожидайте менее 1,5 токена в секунду на минимальном оборудовании — но это не значит, что вы не можете экспериментировать! Использование GPU сделает вывод быстрее. С этого места https://unsloth.ai/blog/deepseek-v3-0324