1.python独立开发,后台接口部署
2.机器学习算法开发
3.深度学习开发,不限于自然语言处理,图像处理,图像识别等
4.非结构化文本信息提取,文本清洗等等
5.chatgpt智能客服,结合langchain实现本地知识库搜索
6.图片文件检测,提取,文本相似度计算,图片相似检索等等
1.图片相似度检索,涉及数据库的增删改查,涉及向量数据库的搭建,涉及cuda环境的部署,涉及图像embedding等等
2.文件相关字段信息提取,涉及不同类型的文件,有pdf,jpg,png等等
3.本地知识库搜索,结合chatgpt和langchain两种技术实现本地知识库搜索
4.智能客服,使用chatgpt实现智能客服的搭建
1.项目分为文件系统图片拉取,通过模型进行编码,将embedding存储到milvus向量数据库,每天根据文件系统的图片数据进行定时的增加和删除图片,对新的图片进行编码,到向量数据库进行查找是否有相似的,返回相似图片相关的信息,从方案设计,图片处理,向量数据库搭建,后台接口部署均
项目主要包括从文件系统拉取拉取相关的文件数据,然后对各种格式的文档使用langchain进行处理转化成doc,然后使用开源的embedding或gpt的embedding模型进行编码,最后根据用户提出的问题,先使用相似度检索检索出相关的文档,再使用chatgpt根据相关的文档进行