llama.cpp

C/C++ 实现的 LLM 推理引擎，可在 CPU/GPU/边缘设备上运行，支持 GGUF 量化模型。