Hadoop体系架构,如MapReduce,HDFS有相关组件
熟悉 Mysql的基本操作及其原理,如事务机制,存储原理和存储引擎等。
熟悉Java ,jvm 虚拟机, Shell 脚本。
熟悉Python语言,包括Numpy,Pandas, Scipy, sklearn,等数据分析库以及BI数据分析,有相关数据分析经验
了解Redis的基础架构及原理
熟悉常用机器学习和数据挖掘算法
能够使用Hive进行海量数据的统计分析,熟悉常用的Hive函数
掌握HTML5+CSS3技术开发,掌握javascript语言,熟悉jQuery、bootstrap等前端框架
熟悉ArkTs基本语法,对HarmonyOS开发有一定了解
熟悉Android开发,了解 Android 平台体系架构。
1. 大数据处理平台开发
在北信源公司期间,主导开发了一个基于Hadoop生态系统的大数据处理平台。该平台利用HDFS进行海量数据存储,采用MapReduce进行分布式数据处理,并结合Hive进行数据统计分析。通过优化MapReduce任务和Hive查询性能,使得数据处理效率提升了30%。项目中还使用了Python进行数据清洗和分析,应用了Numpy、Pandas等数据分析库。
2. 智能推荐系统
参与开发了一款智能推荐系统,利用机器学习和数据挖掘算法,如协同过滤、K-means聚类和决策树等,为用户提供个性化推荐。项目中使用Python和Sklearn进行模型训练和评估,并通过Redis缓存提高系统响应速度。该系统成功将用户点击率提升了20%。
3. 企业级数据分析平台
设计并实现了一个企业级数据分析平台,使用Mysql作为数据存储,开发了复杂的SQL查询和存储过程,优化了数据库性能。利用Python和BI工具进行数据分析和可视化,生成了多种数据报表和仪表盘,为企业决策提供了有力支持。项目中还实现了事务机制,确保数据的一致性和可靠性。
4. 移动端应用开发
参与多个Android应用的开发,熟悉Android平台体系架构和开发流程。主导开发了一款基于HarmonyOS的智能家居控制应用,使用ArkTs进行开发,提升了应用的稳定性和用户体验。项目中还使用HTML5、CSS3和JavaScript进行前端开发,结合jQuery和Bootstrap框架,实现了响应式和交互性强的用户界面。
爬取抖音首页随机视频,保存相关视频信息和评论信息到数据库,并将视频下载到 爬取抖音首页视频的作者、视频ID、描述、点赞数、评论数、分享数、下载地址、背景音乐作者和名称 爬取视频对应的评论的作者、内容、点赞数、评论时间、被回复的用户名、内容、点赞数和评论时间
美团 饿了么o2o 爬虫采集商品信息 店铺优惠券信息 商店铺活动信息 商品分类信息 商品关键字搜索信息 店铺信息 商品信息 商品分类信息 店铺活动信息 店铺优惠券信息