项目名称: 基于爬虫和大数据的结合 开发周期: 3个月(2023-2-2023-3) 项目描述: 爬虫将数据导入到mysql数据库中,通过sqoop将MySQL中的数据导入到Hadoop的hdfs中,Hadoop集群运用hive进行sql数据库查询,使用hdfs将数据存储在节点,并实现提取出用户留存率,日创建用户和日活跃用户,用户地址,各个年龄段的用户。通过一系列的数据筛选,提取,转换来调查用户需求,来描绘用户画像。 项目架构: Mysql + Sqoop + Hadoop +python爬虫 技术实现: 1. 使用爬虫将爬到的数据传入mysql里面。 2. 使用Sq...
项目背景: 根据各个游戏分别需要业务后台管理相关数据和游戏配置 项目职责: 1、前端框架的研究确认:element + vue。 2、用户权限模块功能以及组件开发:引入动态菜单权限体系。 3、进行二次业务组件开发,将多个后台公用页面模块等封装成公共组件。 4、实时了解项目进度,进行项目开发相关问题的沟通,及时协调修改bug问题。 5、部署维护测试环境并协助运维部署生产环境。 项目业绩: 1、通过vue-cli3进行了打包依赖优化,节省了大概20%的编译时间。 2、利用elementUI封装的业务组件不仅统一了各个业务模块的UI交互,而且减少了30%的开发时间。减低了研发成...