猿急送>

南京后端兼职程序员

ID：284633

还行

大数据开发

公司信息：
中移在线服务有限公司

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
南京
全区

技术能力

熟练掌握Java,scala,python语言,具有良好的数据结构基础;
熟练使用SSM框架以及SpringBoot框架进行WebAPI开发；
精通SQL,理解SQL优化原理,熟悉Oracle,MySQL,Redis,DB2等多种数据库;
熟悉Linux系统,熟练掌握shell编程，进行shell脚本和Python脚本开发的能力；
熟练掌握hadoop系统，熟悉Hdfs和MapReduce原理，熟练使用Hive、HBase、Spark等大数据框架并可做基础的调优；
熟练使用Flume、Sqoop、Kafka等工具做数据提取工作；
熟练掌握Zookeeper分布式服务框架，并对接kafka、Hbase等大数据工具；
熟练掌握使用Spark Streaming和Flink进行实时流式数据处理，并基于Yarn调度平台实现集群计算；
熟悉数据仓库架构,并进行搭建数仓工作；
熟悉编写HQL、SparkSQL等进行数据分析；
熟悉华为gauss数据库相关数据开发及调优；
熟练掌握docker容器虚拟化技术；
熟练掌握python网络爬虫技术，交通scrapy模块开发。

项目经验

项目：泰州移动用户数据汇总系统开发周期：六个月
开发环境：IDEA、JDK1.8、Linux
开发工具：Oracle、Sqoop、Hdfs、Hive
项目描述：
随着大数据技术的日趋发展完善，泰州移动对其保有的海量用户数据的价值和使用开始产生新的想法。泰州移动希望采用大数据技术对传统的Java代码处理数据的方案进行转型并通过对近半年的用户数据搭建数据仓库，从而在客户流失度、营销力度、客户流量/套餐、地区网络维护等方面进行统筹规划。项目旨在通过数仓计算当月各项指标并同前6个月的指标进行对比并输送至Oracle数据库并制作报表以提供移动进行下一期决策。
责任描述：
使用爬虫从外部系统爬取目标数据存入系统Oracle库；
运用Sqoop从Oracle数据库导出数据至Hdfs；
构建Hive数据仓库，对数据进行ETL并构建对应维度表；
与甲方沟通结构化数据提取过滤规则，特征值字段提取，构建初步dwd层数据；
对数据按照要求进行轻聚合，构建dws层和最终的ads层。