llama.cpp

资源介绍

基于 C/C++ 的模型推理项目，支持多种硬件后端与量化方式，可用于本地运行和轻量服务。

llama.cpp 提供较底层的推理能力，支持 CPU、GPU 及混合运行方式。它适合需要控制模型格式、量化配置和硬件适配的开发者，也是理解本地推理部署的常用项目。

主要能力

• 跨平台 C/C++ 推理
• 支持多档权重量化
• CPU 与 GPU 混合运行

如何开始

1. 01

   选择官方发行包或按文档编译。

2. 02

   准备格式兼容且许可明确的模型。

3. 03

   先跑命令行示例，再验证服务接口与性能。