毕业于某高校硕士,熟悉大数据(spark,hadoop,hbase,hive)等技术框架,对微服务spring cloud,spring boot有所了解,熟悉 容器技术(docker,k8s),对机器学习 等算法 较为关注,熟悉 tensorflow,pytorch等深度学习框架。有一定的数学功底(数学分析,高等代数,统计推断,凸优化),现主要在研究联邦学习和无监督聚类等相关方面
锐捷网络智能网络平台
技术选型:spring cloud+Spark+docker+k8s+mongodb
项目简述:根据网络采集器,采集来的网络数据包,来进行客户整个网络中网络设备,网络终端的管理,绘制对应的拓扑图,对终端的流量进行预测,根据网络中各种数据包的协议,来对网络流量进行分析
个人工作:
1. 主要负责http,arp,rarp网络协议的分析,设计baseline基线算法,判断终端发送的数据包的总量是否存在异常
2. 参与将该算法用scala进行编写,之后用spring boot为前端提供对应的接口
莆田学院电商大数据科研教学平台
技术选型:HDFS+Spark+SparkMLib+Hive+Mycat
项目简述:数据来源于公司购买的亚马逊电商数据,数据包商品信息(如商品名词,厂家,价格等),用户信息(用户id、地址等),用户行为记录(用户id,商品id,行为记录等),对以上信息进行生成推荐模型,客户价值分析,销售预测,客户流失预测,关联商品分析,评价分析。现如今准备莆田学院电商大数据科研教学平台(二期),主要在一期项目的基础上加入以TensorFlow为基础的人工智能基础科研平台。
个人工作
1. 主要负责推荐模型和关联商品分析的编码工作,具体包括但不限于威尔逊区间排名、基于用户的协同过滤、基于物品的协同过滤、缺失值处理等。
2. 参与数据的ETL和程序的调试;