shimmy

纯 Java 中的 Llama 3+ 推理

PMetal：用于本地LLM推理、LoRA/QLoRA微调、服务、量化和MLX/Metal加速的高性能Apple Silicon框架。

AI 推理，简单打包。一个极快、零依赖的 WebGPU 运行时，可直接在浏览器中运行 GGUF 模型。具有对称 API，可实现无缝的本地执行和云提供商路由。使用

ModelFox使训练、部署和监控机器学习模型变得简单。