基于LangChain框架的AI-Agent 智能系统 2024.08-2024.09
项目简述：使用Windows平台实现了基于Llama3.1的AI-Agent项目
应用知识：Python语言基础、Transformer框架、LangChain框架、向量数据库
功能概述：
1.搭建Chain流程：创建模型推理类，实现LangChain框架必要类方法
2.实现功能方法：编写网页爬取爬虫函数，编写业务所需功能函数
3.设计Tools及Prompt：设计tools的参数及功能描述，以及函数功能模板
4.测试流程：运行项目，测试项目的效果，模型顺利推理并调用tools直至完成
5.输出结果：将调用工具汇聚的字符串输入到模型中，由模型输出结果

基于ChatGLM3的智能问答的Lora微调系统 2024.06-2024.07
项目简述：使用本地电脑平台实现了ChatGLM3的智能问答模型的Lora微调，
应用知识：Python语言基础、Lora微调技术、Transformer框架
功能概述：
1.数据集获取：使用的是公司的内部数据，用于对外介绍公司和技术展示。
2.数据集的分类：读取json文件并划分为训练集、测试集和验证集。
3.模型搭建：在魔搭社区下载并导入ChatGLM3-6B模型，然后搭建模型框架。
4.循环训练模型：查看训练loss，调整配置文件，循环训练等待。
5.模型性能评估：通过交叉熵损失判断模型的拟合程度。
6.使用Streamlit框架搭建一个交互界面，经过内网穿透可用于外部使用。
项目难点：
1.遇到了loss的计算问题，后来查询诸多项目代码发现，模型的计算方式是输入的每个词的下一个词，然后错位计算loss即可！
2.遇到梯度消失和梯度爆炸的问题，查经发现梯度消失是因为学习率过大，而梯度爆炸的问题是通过调大优化器的一个位于分母的参数，保证分母不至于过小，从而解决了这个问题。
3.没有使用Peft框架，而是直接使用PyTorch框架，修改最后一个线性层，从而实现Lora微调。
4.模型的Windows和Linux系统的部署。