Llama-modchip permite correr DeepSeek de 284B parámetros en 64 GB de RAM sin GPU
Un proyecto publicado en GitHub reúne parches para llama.cpp que permiten ejecutar modelos de tipo Mixture-of-Experts íntegramente en la memoria del sistema. Entre los ejemplos, un DeepSeek-V4-Flash de 284B parámetros que entra en 64 GB de RAM.
Redacción PicoTecno
· Actualizada 12 de noviembre de 2026 a las 23:37
2 min de lectura
(github.com)
Un nuevo proyecto de código abierto llamado llama-modchip propone ejecutar modelos de lenguaje de gran tamaño sin placa de video, usando solo el procesador y la memoria RAM. Según informó github.com en la página del repositorio, se trata de un conjunto de parches para ggml y llama.cpp, transcodificadores de cuantización y herramientas de ejecución pensados para modelos dispersos de tipo Mixture-of-Experts (MoE).
En estos modelos, solo una parte de los "expertos" internos se activa para procesar cada token, lo que reduce el cómputo por paso frente a un modelo denso del mismo tamaño total. El proyecto aprovecha esa característica para correrlos en procesadores x86_64 con instrucciones AVX-512 o AVX2, y en ARM64 con NEON, SVE o Apple Metal. La cuantización, por su parte, comprime los pesos del modelo para que ocupen menos memoria.
Los números que informa el proyecto
El caso más llamativo es DeepSeek-V4-Flash, de 284B parámetros (284.000 millones). Su versión comprimida pesa 56,56 GiB, cabe en una computadora con 64 GB de RAM y, según el repositorio, genera entre 9,1 y 14,7 tokens por segundo. Para esa prueba se indica un contexto de 32.768 tokens.
El segundo ejemplo es Nemotron-3.5-30B-A3B, que en su versión comprimida ocupa 14,35 GiB, funciona con 16 a 32 GB de RAM y alcanza entre 25 y 60,4 tokens por segundo. En este caso, el comando de ejemplo usa un contexto de 262.144 tokens. Todas las cifras de rendimiento provienen de la documentación del propio proyecto.
Sobre la calidad, el texto aclara que la configuración por defecto de la versión 2.4.0 evalúa los seis expertos enrutados y el experto compartido de cada capa, sin descartar ninguno. Según el repositorio, esto da una similitud de coseno de 1,00000 en los logits (las puntuaciones de salida del modelo) frente al runtime sin parches con el mismo checkpoint. Quien quiera más velocidad puede activar la variable LLAMA_MOE_TOP_K con valor 5 o 4, a cambio de una pequeña pérdida de precisión medida en perplejidad.
Hay una limitación importante de compatibilidad. Los modelos usan un formato de tensores propio (GGML_TYPE_Q2_0, identificador 40), por lo que llama.cpp sin parches, Ollama o LM Studio los rechazan con el error "unknown tensor type 40". El proyecto ofrece un binario precompilado para Linux x86_64 y un comando propio, ./modchip, para ejecutarlos.
Para Windows 10 y 11, el repositorio incluye un paquete híbrido de GPU y CPU. Detecta núcleos, RAM libre y memoria de video con nvidia-smi, descarga binarios de llama.cpp para CUDA 12.4 o Vulkan, calcula cómo repartir los expertos con el parámetro --n-cpu-moe y abre una interfaz de chat web local. El proyecto también invita a la comunidad a sumar los resultados de sus equipos a una tabla de posiciones mediante un script de diagnóstico y la herramienta de benchmark.
