熟练Windows以及WindowsServer, CentOS, RedHat, Ubuntu等原生和派生操作系统
熟练Office软件(Word, Excel, PPT, Visio), Markdown语法
熟练Python3(Web开发框架Django和Flask,爬虫,数据处理和分析等, 熟悉PyTorch等机器学习库)
掌握MySQL, Docker, Shell, Redis, Nginx, Git, Go, Html, CSS, JS, TS, Less等
熟练Shadowsocks(R), Vmess协议代理,
了解Hadoop生态系统(HDFS, Mapreduce, Hive, Hbase, Zookeeper, Sqoop, Flume, Spark, Kafka)
了解FATE联邦学习数据同态加密技术架构, 分布式架构, 基础设施, 云等
1.基于ChatGPT(GPT-3.5-turbo量化模型)的二次开发
本项目旨在利用OpenAI的ChatGPT(GPT-3.5-turbo量化模型)进行二次开发,以实现一个高效、智能的聊天机器人。通过
使用Python编程语言,我们将构建一个可扩展的聊天机器人框架,以满足不同场景下的对话需求。通过本项目的二次开发,我
们将充分发挥ChatGPT(GPT-3.5-turbo量化模型)的强大功能,为用户提供一个智能、高效的聊天机器人体验。
2.基于豆瓣电影数据分析和可视化
本项目旨在通过对豆瓣电影数据的抓取、分析和可视化,为用户提供一个直观、易于理解的电影数据分析平台。项目分为三个
主要板块:爬虫、前端和后端。通过爬虫模块抓取豆瓣电影的相关数据,后端进行数据处理和分析,前端展示分析结果,使用
户能够快速了解电影的评分、热度、类型分布等信息。
本项目旨在通过对豆瓣电影数据的抓取、分析和可视化,为用户提供一个直观、易于理解的电影数据分析平台。项目分为三个 主要板块:爬虫、前端和后端。通过爬虫模块抓取豆瓣电影的相关数据,后端进行数据处理和分析,前端展示分析结果,使用 户能够快速了解电影的评分、热度、类型分布等信息。
豆瓣网电影详情数据采集,清洗后再把数据库存入mysql数据库,采集过程中利用动态IP池来解决请求数据过载情况