猿急送>

北京Java兼职程序员

ID：229658

舒克

高级java工程师

公司信息：
北京思源政通科技有限公司

工作经验：
11年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

工作描述：主要负责项目平台搭建，升级springboot2.0， springcloud微服务架构，安装部署CDH5.13.3大数据集成管理平台，设计开发系统管理，数据源管理，流程管理，任务管理等模块。从Apache ignite升级Apache spark2.3插件执行引擎，完成数据采集，清洗，融合等功能插件。配置oozie调度平台，实现任务编排，集中调度管理，yarn性能调优，数据埋点采集，kafka消息队列入库等工作。

项目经验

项目环境：idea-2018、git、maven-3.3.9、springboot-2.0、springcloud、springMvc、spark-2.3、oozie-4.1、CDH-5.13.3、yarn、hdfs-2.6，kudu-1.4、kafka-2.11-0.10.0.1、activiti-5.23.0，mysql、oracle、postgresql、elasticsearch-5.6.12、niginx，redis等
项目描述：大数据平台主要解决ETL功能的数据采集，清洗，融合，分析等业务。在使用apache ignite框架做数据计算引擎时遇到数据到达到百万级时出现任务超时，资源占用高，宕机等情况，基于解决这些问题，提出计算引擎改成spark。并且支持springboot配置简化，结构清晰，springcloud微服务架构等。
系统管理：主要包括用户管理，权限配置，菜单维护，按钮权限管理。
数据源管理：主要维护数据库的配置项维护，目前支持mysql、oracle、sqlserver、hive、kudu、elasticsearch、impala等、数据库下的数据表信息管理、文件数据源管理包括linux服务器配置、windows服务器配置、ftpserver配置管理、实时流Kafka配置信息管理服务器IP、端口、topic等配置项。
流程管理：主要是指定activiti流程画布的数据走向配置，插件包括开始节点，结束节点，数据库查询插件，数据库插入插件，elasticsearch查询插件，elasticsearch插入插件，sqoop插件，kudu数据库查询插件、kudu数据库保存插件、通用性sparksql插件，drools规则插件等都是通过spark api来编写。
任务管理：包括任务编排，任务调度，任务监控等功能，任务编排是把配置好的流程进行按顺序编排，支持多流程执行，是通过支持oozie大数据任务调度工具来完成，任务调度是配置oozie的调度表达式。通过oozie把spark任务调度起来，通过yarn来进行资源分配。
资源管理平台:主要将采集，融合后的数据以rest接口，webservice接口的方式对外提供服务。Oauth2配置，提供审批后的token，根据申请的数据源信息，配置指定接口服务。
资源目录：配置目前已经具有的资源情况，数据来源，权限是否公开，更新方式等信息，配置指定角色能看到的资源情况。通过企业对资源的申请来审核对应企业的查看权限。
API应用：是对数据的接口的配置，发布，审核的流程进行管理，配置数据查询结果成接口服务，对接口服务申请的访问进行审批。
系统监控：包括系统访问日志，接口调用日志，接口当前状态等。通过拦截器将request中的信息读取保存。
埋点采集项目：通过手机APP的埋点数据发送到nginx服务目录，以nginx日志的方式进行保存，通过filebeat进行日志解析并发送到kafka消息队列，通过读取kafka的消息来进行解压缩，解密，数据串解析并将数据保存到kudu数据库中，通过bi系统进行数据分析将手机端的数据比如新增用户，认证用户，操作的功能等指标来进行多维护分析。
手机端埋点使用的神策sdk，相关文档都可以在神策官方描述中找到，是开源的。