llamafile

将你的PC、Mac或Linux盒子变成AI服务器。支持LLM推理、聊天UI、语音、代理、工作流、RAG和图像生成。

一个精简、经过全面测试的 LLM 推理服务器，适用于你已有的硬件 — 免费层、共享 VPS、2 核 ARM 盒子。基于 llama.cpp 的 OpenAI 兼

自托管现代 LLM 堆栈。从终端运行整个集群

Android原生AI推理库，支持文本、图像、视频、语音转文本、文本转语音推理