如何降低 RAG 的计算成本？

通过优化检索策略、轻量级组件和基础设施选择，可以降低 RAG 的计算成本。

核心原则是最大限度减少昂贵大语言模型处理的数据量：使用元数据过滤器或更小的重排器，实施混合搜索（稀疏+密集），并设置更严格的相关性阈值。应用模型量化、剪枝或针对特定任务利用更小的大语言模型可进一步降低成本。优化的向量数据库和硬件加速（GPU/TPU）等基础设施提升效率。确保成本削减不会显著影响答案质量或需要昂贵的重训练。重点主要在于大语言模型推理和嵌入生成成本。

实施步骤：首先优化检索器——优化索引、应用选择性过滤并使用分层检索；其次优化生成器——缩小/量化大语言模型并尝试缓存或轻量级架构；第三优化基础设施——在高效硬件上部署并持续进行基准测试。这种方法可显著降低延迟、减少资源需求并降低云成本，同时维持应用性能。