掌握数据结构,掌握Mysql数据库语言,掌握C/C++(CSP成绩160分)、Java、Python(CSP成绩200分)编程语言的应用,熟悉Linux,熟悉大数据的数据分析和挖掘技术及其Spark和Hadoop等分布式数据处理工具的应用及网站的研发工作。
有软件设计师和信息系统项目管理师证书
曾参与趣味比赛项目——杨超越粉丝相亲配对项目,本项目采用Scrapy爬虫技术获取杨超越粉丝信息,通过数据清洗、融合、分词等预处理操作后分析和提取数据的特征,采用LSTM算法对其进行文本分类的建模并对模型进行训练和测试,最终通过模型根据粉丝信息预测和推荐异性。在该项目中主要负责数据的爬取、数据预处理、模型构建以及管理团队工作。
曾参与国家级科研项目——云南省智慧交通大数据研究与应用,该项目使用HDFS+Spark+Hive+Flume+Sqoop+Mysql+Java技术,通过融合百度地图数据、出租车数据和微博签到数据,分析城市功能区挖掘城市热点区域和居民出行频繁模式并进行可视化。在项目中主要负责分布式集群平台搭建、数据分析、建模、挖掘。本人作为第一作者的论文《基于出租车GPS数据的频繁模式挖掘》被《计算机科学》期刊(CCF B类中文期刊)录用,已经网络首发。
角色 | 职位 |
负责人 | 软件工程师 |
队员 | UI设计师 |
队员 | 前端工程师 |
队员 | 后端工程师 |