智能问答RAG系统

人工智能-机器人 王四

该系统是一个金融领域的RAG问答系统，由于知识库类型繁杂，多样，并且对于回答准确率要求比较高，因此低于检索和大模型的性能要求较高。我们采用langchain框架构建整个系统 ，其中最关键，也是性能提升最大的两项工作是。 1、采用decode-only架构的reranker模型，基于已有文档数据构建问答对数据，并经过过滤、清洗获得高质量的微调数据，在此基础上优化、微调模型，极大提升检索模型的召回率。另外，检索模块中的embedding模型我们根据业务需求出发，采用动态embedd方法支持文本的多embedding需求。 2、基于用户已有数据，经过过滤、清洗等操作构造指令微调数据，使用SFT微...