Apple Silicon 专属本地 LLM 服务器 Osaurus 🦕
• 完全原生基于 Apple MLX/MLXLLM，专为 M 系列芯片优化，性能极致。
• SwiftUI 桌面客户端结合 SwiftNIO HTTP 服务器，轻松部署本地 OpenAI 兼容接口（/v1/models、/v1/chat/completions）。
• 支持 OpenAI 风格函数/工具调用，内建强健解析器，精准处理模型输出中的 JSON 和格式噪声。
• 聊天模板自动加载 tokenizer_config.json 中 Jinja 模板，智能应用 BOS/EOS，缺失时降级为简洁对话格式。
• 会话复用（KV 缓存）显著加速多轮对话响应，降低延迟与资源消耗。
• 模型管理 UI 支持浏览、下载社区精选模型（Llama、Qwen、Gemma、Mistral 等），自动估算下载大小。
• 实时系统资源监控，CPU 和内存使用一目了然，确保运行稳定高效。
• 支持流式输出（Server-Sent Events），实现低延迟字符级生成体验。
• 仅支持 macOS 15.5+ 和 Apple Silicon，完全集成本地，保障数据隐私与响应速度。
相比 Ollama，Osaurus 依托苹果生态深度定制，兼顾高性能和开放兼容，适合希望在本地高效部署 LLM 的开发者和研究者。
🔗 github.com/dinoki-ai/osaurus
AppleSilicon 本地LLM SwiftNIO 机器学习 开源 人工智能
