猿急送>

深圳Java兼职程序员

ID：343980

初心

大数据开发工程师

公司信息：
华强方特

工作经验：
9年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
深圳
福田

技术能力

主要从事大数据开发、数据开发、Java开发

总体为数据抽取、hive数仓处理、数据中台，springboot微服务，数据分析、数据建模、数据开发。

Excel数据按需处理、网页数据爬取等都可以做。

涉及使用到的组件如下：

1.熟悉使用spark、hdfs、Hive、clickhouse、kudu、presto、sqoop、loader、datax、azkaban、hue、docker、Zabbix等；

2.熟悉使用storm流式框架开发，熟悉mongodb、kafka、elasticSearch、zookeeper操作，springboot组件化开发；

3.熟悉springboot注解搭建微服务应用，集成redis、mysql、oracle、达梦dm、kudu等；

4.熟悉应用Struts2+Hibernate+Spring架构注解开发模式，熟悉使用SSM+Maven+ mysql，了解cxf-restful webservice； 5.熟练使用linux、nginx

项目经验

一.Excel数据按需求处理、网页数据爬取

二.政务部门大数据平台数据分析、数据治理开发
根据政务部门需求对XXXX十大业务数据进行数据采集接入到大数据平台，对接具体业务模块，按业务要求进行数据抽取、清洗换转、合并到hive数仓，形成基础库、主题库、专题库等进行数据治理，最终输出到下游MPP数据库，由springboot微服务提供接口服务，将数据输出展现到分析系统页面

三.银行数据需求分析、数据建模、数据开发
1.负责银行经营分析平台、费用项目管理平台两大平台的数据需求分析、数据建模、数据开发，主要完成贷款、分期、多维分析模块2.负责大数据平台的整体开发（数据分析、数据抽取、hive数仓4层加工、MPP数据库、springboot微服务输出）

四.Java开发各类小工具，避免手工重复劳动操作节省人工成本

案例展示

数据补录平台

数据补录平台平台操作手册有意向可私聊，可二次改造，可优化页面主要是在做报表的时候，由于源系统中数据缺失了一部分，导致在做报表统计的时候，这部分数据无法从数据仓库中捕获到。因此，就需要进行数据补录，将缺失的数据补录到数据仓库中，这样就可以对数据进行统计。对于业务来说，需要
大数据开发治理

数据开发、数据治理、hive、spark 根据政务部门需求对XXXX十大业务数据进行数据采集接入到大数据平台，对接具体业务模块，按业务要求进行数据抽取、清洗换转、合并到hive数仓，形成基础库、主题库、专题库等进行数据治理，最终输出到下游MPP数据库，由springboot微服