第 17 章 部署方式概览

本章导引

选择部署方式是大模型落地的重要决策。本章介绍三种主流部署方式及其适用场景。

---

17.1 API 调用

[待撰写]

17.2 云端托管

[待撰写]

17.3 本地部署

[待撰写]

17.4 量化部署

[待撰写]

17.5 推理框架

[待撰写]

本章小结

• API 调用适合快速验证，云端托管适合中等规模，本地部署适合高安全要求
• 量化部署通过降低参数精度大幅减少硬件需求
• vLLM、Ollama、TensorRT-LLM 是主流推理框架，各有适用场景

参考文献

[待补充]