64GB内存纯CPU跑DeepSeek
摘要
llama-modchip通过Hessian压缩与MLA转码，将DeepSeek-V4-Flash从76.87 GiB压至56.56 GiB，256K上下文下预填充速度为44.36 tok/s；30B MoE在Threadripper上达111.6 tok/s。
原文片段
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU Hacker News 174 points · 56 comments https://news.ycombinator.com/item?id=50411961