猿急送>

北京后端兼职程序员

ID：258723

bsonlimit

大数据工程师

公司信息：
百信银行

工作经验：
5年

兼职日薪：
1000元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

#熟悉基本数据结构与算法；
#掌握java及面向对象思想，熟悉多线程编程，了解基本设计模式;
#擅长java web后台开发，熟悉spring生态(spring mvc、spring data、spring cloud等)；
#熟悉redis、mongodb、rabbitmq、kafka、elasticsearch等具体业务场景常见工具；
#数据hadoop、spark、hbase等大数据技术
#熟悉linux环境下服务集群分布式部署及运维；
#了解其他开发语言如go、python，可完成相应环境的工具开发；
#有过vue前端框架使用经验

项目经验

项目：数据平台
介绍: 利用大数据技术，实现数据采集、处理、存储、查询分析、可视化等，实现从业务中找数据，并让数据服务于业务。
技术难点/重点: 从0开始，在没有业务经验供参考的情况下，设计数据实时/离线处理方式、存储方式，并选择合适的技术实现。

实施过程：在技术选型上需考虑使用技术的成熟度、学习成本和维护成本。在流程上，确定数据与应用边界，明确数据出入口。同时，数据平台的测试上线流程也与业务系统存在一些不同，需进行不断磨合才能使得数据平台与业务系统互相配合。

完成状态: 已上线。完成流批一体的数据统一处理流程，实现了数据可视化、用户画像、推荐系统数据应用的落地，给运营人员提供200+业务分析指标。

项目：反欺诈系统
介绍：负责新决策引擎前期的需求明确、技术方案调研、架构设计等，负责部分模块开发和落地。

技术难点/重点：解决旧有反欺诈引擎在使用中遇到的技术痛点，更好的迎合业务需要。允许按业务需要动态切换运行引擎。新旧引擎同时运行，需考虑数据一致性问题。新旧引擎关联系统接入避免冲突;
实施过程: 新决策引擎在技术引用、服务拆解上按照新技术架构设计，并进行典型业务场景压测。新旧引擎数据以唯一标识(如交易流水号)进行关联，并以upert方式写入存储，避免数据冲突。利用spark等分析工具定时评估新旧引擎执行效果，并形成报告进行反馈

完成状态：目前已承接实际业务流量的50%，每日调用量上亿次，运行稳定

项目：快车项目
介绍：从零搭建并研发sass平台,负责主要业务实现和落地。为提高业务效率，从全国货运数据中提取信息并建模

技术难点/重点：服务器资源有限，全国货运实时数据量大且一直在产生，存储数据＋查询挑战大
实施过程：分析数据特点，采用时序数据库存储，利用ssd资源并调优数据库配置。使用elasticsearch集群存储静态数据和模型

完成状态：目前已经具备服务客户能力,月流水近千万。车货匹配目前已成为部门重点项目

项目：在线教育app后端重构优化
介绍：针对老版app性能瓶颈、拓展差、代码风格不统一等问题，个人发起对老项目代码的重构以及新架构的搭建

技术难点/重点：所有业务都是放一个服务完成,导致后台项目太重, 需要进行模块拆分; 老项目各个业务模块高度耦合,拆分难度大,可拓展性差; 代码风格不统一, 需要进行统一的代码重构;

实施过程: 统一代码规范, 设计独立的基础服务如消息推送、订单支付、登录验证等; 将业务实现放到各个业务模块, 并单独部署spring-cloud服务; 添加服务降级、流量控制、服务熔断等机制提高服务的可用性

完成状态：新app后台上线, 全量替换老app后端业务，对部分瓶颈业务做到服务器线性扩容，对出现bug问题可日志追踪，整体服务质量得到很大提高。

案例展示

数据平台设计

利用大数据技术，实现数据采集、处理、存储、查询分析、可视化等，实现从业务中找数据，并让数据服务于业务。从0开始，在没有业务经验供参考的情况下，设计数据实时/离线处理方式、存储方式，并选择合适的技术实现。在技术选型上需考虑使用技术的成熟度、学习成本和维护成本。在流程上，确定数据与应
自动测试服务

一方面由于产品迭代较快，对原有功能也有频繁的改动，经常需要集成测试，另一方面由于测试人力一直紧缺，无法保质保量的完成冒烟测试，做全流程回归，逐渐形成研发进度与测试质量的矛盾。解决的方式是通过自动化的测试服务，代替测试人员手动的回归测试，提高测试效率，同时可以通过定时运行，做到对服
区块链代投服务

通过三方区块链对接sdk封装代币空投服务，对外提供使用，我们会在空投时收取部分手续费做为平台收入。具体实现需要考虑到当前区块的高度，交易数等来设置合理的gas费。