Python、Java等编程语言,以及Linux系统的常用命令
Flask、Spring、SpringMVC、MyBatis、SpringBoot等开发框架
MySQL、MongoDB的相关操作,并了解MySQL的基本优化、索引、事务、锁机制等
Maven、Redis等中间件配置
Docker+Kubernetes的流程化部署,代码管理工具Git。
全球重点人物知识图谱项目(vue+flask+mongoDB前后端分离项目)
全栈开发、部署
使用flask实现了按照前端输入的关键词,分模块调用后端爬虫程序进行数据库的补充,并将补充结果响应在前端
话单管理平台
负责整个项目的Vue+Spring Boot前后端开发、Docker+Nginx部署以及与其他商户的对接。
根据不同接口文档自定义对接数据格式,并使用MD5加密等。
使用Redis作为中间件配置来缓解高并发问题。
通过修改MyBatis底层配置解决MySQL中Table命名规则不兼容等问题。
全球舆情可视化大屏项目
负责ThingJS平台在本校服务器的私有化部署,前端Ajax请求到后端数据的对接,以及前端项目的Nginx部署。
使用Github完成了从前端开发到部署上服务器的流程整合。
基于Vue框架开发大屏组件,分别从前端配置代理以及后端添加注解和重写WebMvcConfigurer解决了跨域问题。
舆情监测平台项目(系统+算法+爬虫舆情监测项目)
①基于Pymongo实现了mongoDB数据的多线程处理,从linux配置上优化mongoDB连接效率优化了mongoDB,设计了针对多平台可以复用的爬虫数据结构
②使用Docker+k8s对爬虫项目进行流程化部署
③基于redis配置关键词、cookies等参数,kafka缓存爬取数据,编写模块规划生产和消费周期,实现了定期处理数据的分布式爬虫
④基于Scrapy、Selenium等框架进行微博、twitter、youtube、抖音等平台数据的爬取
展示资源池中具体媒体、人物、组织等信息及关系数据,开发管理后台,柱状图、折线图等可视化图表,以及一系列实体数据
爬取全世界两万多家主流媒体新闻并使用大模型根据相关内容计算当日国际关系评分等相关指标数据,提供重点事件识别等功能