猿急送>

成都后端兼职程序员

ID：178791

大数据涛涛_18090755163

高级大数据开发工程师

公司信息：
重庆猪八戒网络有限公司

工作经验：
5年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
成都
高新

技术能力

1、熟悉Hadoop大数据平台架构体系与集群的管理，有丰富的CDH集群搭建和维护经验。
2、熟悉Hive数据仓库架构模型建设，并能熟练掌握HiveQL，熟悉对海量数据的ETL开发流程与处理。
3、对基于大数据平台的数据仓库建设、数仓架构设计、数仓建模有丰富的经验。
4、熟悉Spark计算框架，掌握Spark Core、Spark SQL、Spark Streaming 等大数据处理技术。
5、能熟练编写实时计算任务，将spark streaming 封装sql进行实时流任务处理。
6、熟悉clickhouse 实时分析系统集群，能搭建基于clickhouse的实时数仓系统，并优化实时查询sql。
7、熟悉Linux环境和操作，了解shell编程，掌握Java基础，熟练使用MySQl数据库技术与SQL。
8、了解Hbase、kafka、Flume、Sqoop、TaskCTL、Zeppelin、azkaban等大数据体系圈周边技术。
9、能设计、建设、优化整个大数据处理架构，包括数据接入、存储、集成等整体流程，并编写相关技术文档。
10、善于理解和分析业务需求和逻辑，为各种数据分析场景快速制定数据提取和开发支撑。

项目经验

项目经验：

西游网实时数据仓库平台 2018/10-至今
软件环境： Centos6.7 + CDH5.7 + spark 2.3 + clickhouse-server 18.14.18
硬件环境：10台服务器，每台16核cpu，64G内存，20T+数据总量

项目描述：
要根据业务需求对海量游戏日志数据进行实时查询，要做到亿级检索，分组统计毫秒级返回，实现大数据的实时OLAP分析查询。
项目职责：
1、负责clickhouse集群的搭建和运维。
2、开发spark streaming 任务读取kafka写入clickhouse，并采用sql封装spark streaming任务。
3、优化clickhouse计算逻辑和查询逻辑。
4、提供spring boot查询clickhouse的数据接口。
5、改造老的实时查询项目，用clickhouse替换hbase、es、kylin等组件的项目。

西游网数据分析中心平台 2018/04-至今
软件环境： Centos6.7 + CDH5.7 + spark2.3
硬件环境：60台服务器，每台16核cpu，64G内存，100T+数据总量

项目描述：
根据已采集到的游戏日志建设数据仓库架构和模型。对数据仓库进行分类建设，将数仓分类为ods原始数据层，dw中间计算层，tmp临时层，rs数据结果层。根据业务需求开发相应的数据计算任务，设计表结构，开发数据推送接口，制定任务调度。
项目职责：
1、设计数据仓库模型和分层。
2、根据需求开发数据计算任务，并优化老的数据开发任务。
3、制定数据指标体系和规范，编写开发和计算文档。
4、开发spark计算任务，优化sql处理逻辑。

天象花千骨、三国、热血精灵王数据分析平台 2017/04-2017/06
软件环境： Centos6.7 + CDH5.11.0 + spark2.2 + azkaban2.5
硬件环境：20台服务器，每台32核cpu，128G内存，50T+数据总量

项目描述：
收集游戏日志，包括各个游戏登录、充值、注册、广告投放、角色、任务、关卡、战斗等日志。每个游戏数据是以分表分库的形式存放在上千台游戏服务器中。根据业务将各个服务器上的日志采集到大数据平台中，进行统一存储和计算后根据产品需求将数据计算后统一输出到web项目的数据库端，以供前台展示所用。
项目职责：
1、开发Java数据采集程序，采集分库分表存储于mysql游戏日志数据。
2、搭建游戏日志数据仓库，设计数据仓库模型。
3、设计PHP web页面要展示的数据表结构。
4、开发数据加工程序，设定任务调度执行。

天象大数据平台 2017/04-2017/06
软件环境： Centos6.7 + CDH5.11.0+spark2.2+azkaban2.5
硬件环境：20台服务器，每台32核cpu，128G内存，100T+数据总量

项目描述：
搭建基于CDH的大数据平台，要满足公司各大游戏日志数据存储与计算，预计需要存储的数据为100T左右。搭建游戏数据仓库，要满足对日志数据的数据统计与分析计算需求，对数据进行ETL加工处理，实现审计与运营数据查询，离线统计需求。
项目职责：
1、CDH集群搭建与维护，azkaban调度系统部署与维护。
2、搭建数据仓库，设计数据仓库模型。
3、开发Java数据采集程序，采集分库分表存储于mysql游戏日志数据。
4、开发ETL处理程序，对各个游戏数据进行加工处理。
5、构建spark一站式数据处理架构。

八戒流量监控体系 2016/08-2017/03
软件环境： Centos6.5 + hadoop2.2+kafka2.10+spark1.6+hive0.13
硬件环境：50台服务器，每台2个8核cpu双线程，64G内存，100T+数据总量

项目描述：
为公司数据仓库建设全站的流量指标体系，主要目标是要实现公司网站流量数据化运营与监控，能随时获取全网站各个页面版块的全名信息。梳理全站所有版块主要指标，PC端各个频道页，类目，搜索，列表，服务，需求等一些列页面流量指标，GMV，页面转化率，用户路径分析等。以数据指标指导运营部门和业务人员对网站页面的优化，用户体验和渠道投放的数据化运营。并为服务商的运营工具提供店铺流量可视化数据源支撑。
项目职责：
1、负责与分析师对接指标体系的计算逻辑，定义数据仓库业务体系层和数据可视化表结构设计。
2、采用Spark Core算子和spark Sql 实现二次排序、分组取TopN算法等业务算法。
3、日志解析与数据开发，数据加工程序开发与调度