猿急送>

深圳后端兼职程序员

ID：161785

莱布尼茨不会求导

大数据开发工程师

公司信息：
深圳可链科技有限公司

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
深圳
南山

技术能力

熟悉Spark架构、工作原理、代码编写以及能使用Spark Streaming对数据进行微批处理
熟悉Scala、java语言，并能用scala、java进行spark程序的编写调优
熟悉Kafka基本原理与架构。可与sparkstreaming结合处理流式数据
熟练cdh集群搭建及了解其相关的优化和维护
理解MapReduce的工作原理，以及HDFS分布式文件系统原理，独立开发编写mapreduce代码
熟悉redis、Hbase等非关系型数据库，理解Hbase表的设计原则，熟悉hbase、redis操作
理解Hive原理，并能熟练应用sql语句对hive仓库进行数据的操作
熟练使用Linux命令以及Shell脚本
熟练使用Oracle和MySQL数据库
熟练使用spring+springMVC+mybatis框架、springboot构建web项目以及接口
熟练使用maven项目构建工具以及SVN、gitlab代码同步工具

项目经验

安信证券的实时资产和历史账单：
该项目分为实时全景资产和历史账单两大模块，具体如下：
实时全景资产：
数据中心白天产生的数据通过ogg（oracle golden date）同步到kafka，sparkstreaming实时拉取同步到kafka上的数据，获取到数据后将message转成JsonObject，判断json对象命中是否有ogg、table字段，如果没有则抛异常，否则从json对象中取出各个字段，并根据opType（操作类型）字段的取值（“U”,”I”,”D”）生成对应的record对象，得到record类型的rdd，然后过滤掉不符合条件的record，再将rdd转化成由record中特殊字段组成的String类型字符串为key，record为value的二元组rdd，再将再使用groupbykey算子将rdd分组，分组后对每一组按currentTs（ogg同步数据的精确时间）升序排序，得到排完序后的二元组，再根据key从redis中取出全景资产信息对象，如果为null则新建全景资产信息对象，然后增删改全景资产对象，最后将该对象刷入redis并将该批数据的offset更新到redis；
以上为交易日的早上8：30到下午的16：30的处理逻辑，当收市之后则由kylo增量采集数据到hive，然后做清算，清算完成写一个标志使上述逻辑继续执行，此为实时资产的数据处理部分；
全景资产的接口部分亦由我完成，使用的是springboot+grpc+redis框架，根据此前定义的proto生成对应的16个接口，现用“我的股票”接口做一简述：
我的股票分为人民币股票、港股通股票、港币股票、美元股票，以人民币股票为例，人民币股票由股票人民币持仓、国债正回购、约定购回、股票质押四只产品组成，每只产品的今日盈亏为：(份额+红股在途)x行情-成本-昨日收益；今日盈亏为：（100x今日盈亏）/abs(成本+昨日盈亏)；人民币总今日盈亏为所有产品的今日盈亏的和。以上为接口的部分计算逻辑，所有数据都从redis中取出，源数据为前边刷进redis的数据。
历史账单：
用户产生流水的数据采集到hdfs上，再通过bulkload生成HFile文件快速映射到hbase中，，proto定义好接口的相关信息生成对应的接口，springboot+grpc+hbase框架将接口所需要的信息返回回去。