猿急送>

北京后端兼职程序员

ID：148811

申胜利

大数据工程师

公司信息：
东方国信

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程
可工作日驻场（离职原因）

所在区域：
北京
昌平
天通苑

技术能力

有良好的面向对象编程习惯，熟悉常用Java api，包括常用集合、线程、io操作、socket、jdbc、反射、泛型，熟悉装饰、动态代理、单例、工厂、迭代器等设计模式
熟练使用Eclipse，熟练使用maven，svn管理项目，了解git，熟练使用tomcat容器
掌握Mysql，Oracle关系型数据库
有Hadoop高可用集群部署经验，掌握hdfs，MapReduce的设计原理
掌握Hbase，hive，在多个项目中应用
使用Control-M调度工具，perl脚本完成每日跑批任务，了解Python及shell脚本
掌握Zookeeper原理，Kafka分布式消息队列，熟练使用Redis分布式缓存，Flume日志采集工具
了解Scala语言，能够用Spark进行批处理及流处理
了解Storm，Flink，Kylin，beam等技术栈
熟悉Solr全文检索，能够搭建SolrCloud，数据入库和查询
有JavaWeb基础，熟悉JavaEE的Spring，SpringMvc，Mybatis框架，了解SpringBoot
熟悉Dubbo及Dubbox微服务框架
使用loadrunner进行压力测试，并找到性能瓶颈
了解一些机器学习算法，使用过Keras及MLlib

项目经验

一、北京银行外部数据接口服务
项目描述：由于银行多个业务流程中，如小微企业贷前审批，贷后监控，信用卡等，不能仅凭行内客户信息做到全面实时了解到所需的明细信息，风险信息。通过构建此项目，将一些外部的数据源通过防水墙隔离的方式接入到行内，转化为行内通用的报文格式，对需要的业务提供支持。同时留下记录来做计费，并实时地把查得数据存入hbase中以备有效时间内再次查询，每日再把这些数据分别解析落入数据仓库，以备后续模型整合使用。
技术描述：hbase，hive，control-m，perl，http，socket，JSON，XML，kafka
责任描述：负责项目需求分析，项目设计实现，测试，文档编写，交付实施
二、北京银行回单系统改造
项目描述：北京银行原有的回单系统查询效率极低，每年新增数据量约4亿条，物理文件120g左右。采用hbase进行数据存储和查询，ODS每天将客户账，内部账数据文件下发，定时调度将数据文件进行校验，备份，入库等操作，实现基于网点、账号、币种等进行实时查询并提供分页功能。采用socket对报表系统提供接口服务，按照约定的报文来进行查询。后来由于新增批量查询的需求，再次上线了一个行云数据库，将每天的下发数据清洗存入该数据库，提供jdbc给报表系统。
技术描述：hbase，redis，hdfs，yarn，hive，control-m，perl，XML，socket，行云数据库
责任描述：部分开发，交接维护，交付实施
三、北京银行理财产品网络查控系统
项目描述：北京银行应高法要求，需对理财产品购买记录信息提供实时查询服务，ODS下发全量数据文件至大数据平台，大数据平台将数据文件存入hive指定分区，进行加工处理，再将加工结果覆盖至hbase，提供一个socket接口，根据证件名称，证件号码，证件类型进行查询。
技术描述：hdfs，hbase，hive，control-m，perl，socket，XML
责任描述：部分开发，交付实施
四、北京银行大数据平台接口前置管理页面
项目描述：由于大数据平台开发的接口增多，需要进行统一的管理，分配和转发，以及请求渠道-接口的权限控制，访问统计。另外还涉及外部数据接口的一些接口属性的配置和费用统计等。
技术描述：hbase，oracle，tomcat，servlet，jsp，js，socket，JSON，XML
责任描述：部分功能的后台开发，两个前台页面，交付实施
五、北京银行大数据反欺诈接口
项目描述：北京银行的个贷网贷业务流程需要对申请方进行各种验证。其中的反欺诈过程，需要大数据平台根据查询条件，整合多方外部内部数据，按照个贷网贷提供的规则逻辑进行验证，最后将结果规则返回。目前包含直拒类，打分类规则，其中的规则能够灵活新增和配置，并且留下记录，方便之后的统计，或根据需要形成日志表数据文件通过东方通推送给下游。
技术描述：hbase，http，socket，JSON，XML，规则引擎，东方通
责任描述：负责项目需求分析，项目设计实现，测试，文档编写，交付实施