Затея звучит привлекательно: большая MoE-модель на обычном сервере, без видеокарт и без дорогой VRAM. Авторы llama-modchip утверждают, что их патчи к llama.cpp позволяют DeepSeek-V4-Flash с 284 млрд параметров выдавать 9–15 токенов в секунду на CPU при 64 ГБ оперативной памяти. Основа — агрессивное квантование до 1,71 бита на параметр и оптимизации под AVX-512.
Почему это вызывает вопросы
При таком сжатии модель теряет гораздо больше, чем при привычных 4–8 битах. Оценка качества в проекте не показана, а README, по впечатлению читателей, выглядит сгенерированным ИИ: много обещаний и мало замеров. Один из комментаторов сравнил результат с обычным llama.cpp на модели Nemotron и получил сопоставимую скорость вне фазы prefill, то есть заявленный выигрыш может быть скромнее.
Есть и техническая причина для осторожности. На CPU декодирование упирается в пропускную способность памяти: чтобы выдать один токен, нужно прочитать активные веса. 64 ГБ хватает не всем вариантам модели, а «9–15 токенов» сильно зависят от железа, размера контекста и того, сколько экспертов активируется.
Кому это может быть полезно
Тем, у кого нет GPU, но есть сервер с большим объёмом RAM и кто готов пожертвовать качеством ради автономности: локальная обработка без облака, эксперименты, офлайн-сценарии. Для продакшена с требованиями к качеству это пока не вариант.
Как проверить
Прогнать на своих задачах рядом с обычным llama.cpp и с квантованием 4 бита, сравнить не только скорость, но и качество ответов, потребление памяти и длину контекста, при которой всё ещё работает. Если разница в качестве незаметна на ваших промптах — можно экспериментировать; если заметна, экономия на железе не окупит переделок.
The pitch is attractive: a large MoE model on an ordinary server, no GPUs and no expensive VRAM. The authors of llama-modchip claim their llama.cpp patches let DeepSeek-V4-Flash, with 284 billion parameters, produce 9–15 tokens per second on a CPU with 64GB of RAM. The basis is aggressive quantization to 1.71 bits per parameter plus AVX-512 optimisations.
Why it raises questions
At that level of compression the model loses far more than at the usual 4–8 bits. The project shows no quality evaluation, and readers found the README looked AI-generated: many promises, few measurements. One commenter compared it with plain llama.cpp on a Nemotron model and got comparable speed outside the prefill phase, so the claimed gain may be smaller than advertised.
There is a technical reason for caution too. On a CPU, decoding is bound by memory bandwidth: producing one token requires reading the active weights. 64GB is not enough for every variant of the model, and “9–15 tokens” depends heavily on the hardware, the context size and how many experts are active.
Who it may suit
People without a GPU but with a large-RAM server, who are willing to trade quality for autonomy: local processing without the cloud, experiments, offline scenarios. For production with quality requirements it is not an option yet.
How to check
Run it on your own tasks next to plain llama.cpp and 4-bit quantization, and compare not only speed but answer quality, memory use and the context length at which it still works. If the quality difference is invisible on your prompts, it is worth experimenting; if it is visible, the hardware savings will not pay for the rework.