后端Python 了解使用HTML,JavaScript,jQuery,Bootstrap 前端技术;4. 熟悉mysql 数据库,熟练使用sql语句。
熟悉Sqoop,掌握从RDBMS到Hdfs、hive等的全量和增量模式数据迁移,了解sqoop的编写以及依赖关系的设置
熟悉数仓架构,数据分层,了解数据建模,范式设计等
用Python搭建购物商场效果,用html,css模仿小米商城案例等
项目:电商网络行为分析系统
软件架构: hadoop + hive + flume + sqoop + mysql+azkaban+echarts
项目描述:
通过分析用户的上网行为,对用户的行为进行分析,计算网站的关键指标,然后为网站的栏目设置,板块块的划分,以及预测产品的趋势提供决策支持。
通过js埋点代码收集到用户在网站的持续性访问的轨迹信息用flume进行数据采集,对数据进行过清洗,将清洗后的数据导入到Hive仓库对应的库和表中,经过etl分析处理,其中关键的指标有:页面浏览量、注册的用户数、每天访问的用户数量、新增用户数量、以及跳出率等,最终将处理的结果存到数据库中,进行报表展示。
责任描述:
1. 参与前期项目分析,得出网站的关键性能指标
2. 主要负责数据的预处理和进行etl的清洗过程。
3. 用hive进行网站的pv,uv,用户注册数,用户留存率进行多维度分析统计
4.负责对项目运行过程中的部分性能问题进行分析和优化,提高其性能。