猿急送>

北京后端兼职程序员

ID：264602

NGC2237

大数据开发工程师

公司信息：
北京新网华通

工作经验：
5年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

1. 熟练使用Java,Scala,python语言;熟练后台接口开发，数据清洗分析挖掘,以及文档编写,
2. 熟悉大数据生态,熟练Hadoop、Spark、Flink、Hive等的使用、原理、架构，了解其调优
3. 熟练使用Axure、蓝湖等原型设计工具，熟练掌握office,可对接用户需求设计详细方案
4.参与过招投标，有对外演示宣讲能力
5.有两年左右的实际项目管理经验，完整带过项目
6.有PMP资格证书

项目经验

项目名称：Cloud note 云笔记开发

项目描述：
项目介绍
运用spring .springmybtis框架，通过spring-mvc 的的形式，实现用户在线登录，修改，查询云笔记的项目的开发
我的职责
1.负责登录模块的开发
2.权限控制的开发

项目名称：协众自动化办公系统OA子系统

项目描述：
项目介绍
使用B/S模式，实现公文流程处理的自动化，总体分为机构管理，权限管理，公文流转，系统管理，假期管理，信息交流，信息发布，知识管理，项目管理，资产管理，公务报销，考勤管理，人事档案，我的工作台等模块，主要是为企业的部门之间提供一个能相互合作，提高工作效率的平台，实现企业的无纸化和协同化办公，确保各部门之间的信息传输的流畅，促进企业的信息化进程
我的职责
我负责并完成的假期管理模块，公务报销模块，参与了权限管理模块，在开发过程中遇到需求及技术的实现方式会及时和经理进行沟通，与同事进行交流

大数据数仓
项目描述：
大量的历史数据和新增众多业务需求，使得传统的技术架构无法完成对海量数据的运作，新网大数据数仓系统的数据主要包括用户历史的订单，退改款，售后等业务数据和当前用户浏览，购买的埋点数据，根据建仓理论和范式利用hdfs和hive等工具建立了5层数仓，服务于日常运营多种指标统计，渠道追踪，用户画像，数据挖掘，智能推荐系统。整个集群数据量在40T左右，集群数量在12台。
项目职责：
1. 在数仓中用hive对数据做相关数据分析，建模，分层
2.使用zabbix和ranger实现集群监控和数仓的权限管理
3.用Kylin做即席查询，完成日常复杂指标统计，例如留存率，漏斗分析等
4.使用sk-Learn结合matlab做数据挖掘

项目名称反爬虫系统

项目概述
项目最终的目标用户是有订票、查询票务的需求人群。实际上除了普通用户查询、预定之外，有大量的爬虫在访问查询、预定系统。爬虫浪费了大量的系统资源，对普通用户的查询效率有影响，且转换率很低。为消除爬虫对系统的影响，做了反爬虫系统，将爬虫识别出，并且屏蔽掉，减小对正常用户和硬件资源的影响。

责任描述
1.前端数据通过Nginx+lua形式采集，传入到Kafka；
2.数据预处理核心代码的编写，使用sparkStreaming整合Kafka消费数据，完成数据链路统计、数据清洗、脱敏、加工、分类、结构化，将预处理数据推送到Kafka以及hdfs中；
3.参与爬虫识别代码的编写，将实时分析出的爬虫存到Redis的黑名单中，并在hdfs进行备份。

案例展示

阿凡达工业互联网平台

完成对工业数据的全站服务 1、提供全生命周期管理、配置化定义、全类型数据、全过程监控的数据治理服务； 2、以大数据平台微服务框架为支撑，能够进行算法模型、采集方式、数据接口方式等灵活扩展； 3、提供构建数据集合的引导流程；可通过多种途径构建数据集合，如设备引导模式、组织引导
塔山智慧电厂

向发电、输电、变电、配电等关键场景，提供软硬件一体化解决方案，将传统电力运维系统与深度学习技术深度融合，实现风机缺陷检测，光伏板故障检测、输配电线路智能巡检、一键顺控视频辅助双确认、作业安全风险监测等智能化感知，助推电力企业降本增效。