Java、Python、Hadoop、爬虫
哗哗客户端用户分析 大数据工程师
该项目利用Hadoop、Hive、HBase和Sqoop2、Flume等大数据工具对手机日志的文件进行ETL过程,并将数据以报表的形式可视化展示出来,为运营部门及时了解公司运营的各项指标以及对数据进行分析挖掘。
我的职责如下:
1.编写MapReduce程序对日志文件进行清洗。
2.使用HiveQL进行相关数据的统计分析并优化HiveQL语句。
3.使用Shell与Python进行相关结果的展示。
4.为运营部门提供数据支持。