sglang

面向大语言模型的高吞吐量、内存高效的推理与服务平台

本地运行大语言模型的最简方案，一行命令下载运行 Llama、Mistral、Gemma 等模型。

最先进的机器学习库，支持 PyTorch/TensorFlow/JAX，提供数千个预训练模型和推理管道。

Unsloth Studio是一个用于本地训练和运行Gemma 4、Qwen3.6、DeepSeek、gpt-oss等开源模型的Web界面。