使用 LLM 构建智能问答系统的实践与思考

问答系统不是聊天框

一个可用的问答系统需要稳定的资料来源、清晰的权限边界和可回放的评测记录。模型只是其中一层，不能替代系统设计。

上下文组织

我会把召回内容按来源、时间和可信度排序，再让模型基于这些材料生成答案。上下文越干净，模型越不容易偏离事实。

评测与兜底

评测集应该覆盖高频问题、边界问题和无法回答的问题。真正上线时，拒答、追问和引用来源往往比回答得漂亮更重要。

总结

LLM 问答系统的可靠性来自工程约束。把资料、评测和失败路径设计好，模型能力才有稳定发挥的空间。