方案概述

与其领取第三方额度，不如直接在本地运行开源权重模型。Ollama、LM Studio、llama.cpp 等工具可在个人电脑上加载模型并提供兼容 OpenAI 的本地接口。

操作步骤

  1. 确认硬件：建议 16GB 以上内存，有独显体验更好。
  2. 安装 Ollama 或 LM Studio 等运行时。
  3. 拉取合适尺寸的模型（如 7B/8B 量化版本）。
  4. 启动本地服务，默认暴露在 localhost 端口。
  5. 在代码中把 base_url 指向本地地址即可调用。

注意事项

  • 本地推理不花钱，但消耗电力和硬件寿命，速度取决于设备。
  • 小参数模型能力有限，复杂任务仍需云端大模型。
  • 注意模型许可证，商用前确认授权条款。

适用场景

隐私敏感数据、离线环境、高频低复杂度调用。