1.精通java核心,有良好的算法和编码能力
2.熟悉面向对象编程并已构建厚实知识体系并灵活运用所学知识
3.精通JVM,JMM内存模型,GC收集器
4.精通常见算法和数据结构并灵活运用在项目开发中
5.精通微服务spring cloud框架,精读spring cloud源码
6.精读经典框架源码,如JUC并发框架源码。
7.精通各种调优:JVM调优策略、GC调优、tomcat线程池调优、mysql调优.
8.精通JDK中各种集合、队列、锁、多线程、高并发及NIO相关的底层结构及原理
9.精通redis,包括redis的内存持久化方案、压测、io多路复用器、worker处理请求、5大value类型的使用原理及适用的场景,分布式集群
10.熟悉大数据框架相关的技术,熟悉HDFS,spark, storm, flume, sqoop,flink,ZK,HBase,kafka, ELK等,能够在预估企业处理数据量及需求的前提下,对根据相关技术栈的特性进行选型,以及在有可能的发生性能瓶颈的地方做性能调优和优化;
11.熟读hdfs源码,熟悉HDFS并发文件系统调优策略;
12.了解集群下的并发解决方案,支持HA高可用(采用nginx, apache, lvs, KeepAlive等技术)
13.对于构建分布式、高吞吐,低延迟,实时并发处理,利用大数据分析预测方面有丰富的经验。
14.长期担任公司最核心的架构设计以及代码编写者。
14.了解一些机器学习算法,如分类算法、聚类算法、线性回归、逻辑回归、K均值算法等。了解机器学习框架如paddlepaddle, tensorflow, pytorch, matlab等。能够以pytorch框架完成农田图片边界识别工作,完成酒店评论内容自然语言处理、文字识别自动搜索等机器学习工作。
15.了解HTTP的7层网络协议
16.熟悉linux常用命令
17.熟悉svn cvs版本控制工具、git,maven项目管理
18.熟悉Jenkins,linux shell及Ant脚本来实现可持续集成自动化部署
19.熟练使用Eclipse,IDEA,SVN,git,maven项目管理构建工具
曾获奖项及自学能力:
20.大学时背了4本大学英语,1本环境科学专业英语,1本6级英语。英语阅读写作听力能力一流
项目一:COSMOPlat工业操作系统大数据平台
项目职位:大数据负责人
项目职责和业绩:卡奥斯智研院大数据项目负责人,参与企业业务战略会议,调查企业业务核心目标,基于dataops可持续改进的数据平台0到1构建,负责业务分析数据链路,围绕工业互联网业务战略进行数据湖架构设计、技术选型,云原生容器调度,性能参数设计,入湖读写性能优化,指标数据可视化监测,搭建基于结构化和非结构化数据的读写的离线和实时数仓, code review。参与apache paimon数据湖开源项目开发,申请数据湖数据接入新方案的技术专利。
制定数据管理流程和行业标准,构建数据平台主数据和参考数据,元数据管理体系,数据溯源,数据治理,数据质量管理,数据安全,指标数据建模等内容。构建数据驱动dataops平台,实现数据治理自动化,极大的提高了AI模型的效率。
项目二:supos工业操作系统数仓平台
项目职位:大数据架构师
项目描述:浙江蓝卓依托浙大教学优势,其自研的OS工业互联网操作系统是工业互联网领域的领头羊,在OS操作系统的基础上,构建数据中 台项目、数仓平台项目。包含有数据的采集、数据同步、数据预处理、数据建模、数据计算等功能模块;大数据模型包括通用的AI算法 ,如线性回归、逻辑回归、决策树等 ,可对数据进行拟合;实时和离线计算、数据溯源、主数据、参考数据构建、指标计算等;数仓ODS/EDS/DW分层设计,每一层的数据质量、统计粒度、算法分析、统计维度的上卷下钻等的设计;对原有数据平台的数据进行检测,包括采用搭建星型模型、雪花模型、星座模型进行数据模型的构建,检测原有的数据平台的计算口径 ,计算数据的准确性 ,实时和离线计算的能力;构建数仓主数据模块、元数据模块、搜集和整理行业数据标准、数据质量标准 ,在对业务数据进行数据计算之前 ,进行相关的数据治理 ,数据溯源。
项目职责和业绩:
1、负责蓝卓工业互联网平台OS操作系统中数据中台项目的整体架构设计 ,搭建以及指导开发人员进行开发;
2、负责领导蓝卓自研平台的数据中台的技术选型、架构设计和实现 ,优化后端分布式系统的性能瓶颈与技术难题
3、负责出差内蒙中煤蒙大并与实施人员及用户对接 ,探索平台上的服务及应用场景 ,设计App应用 ,推动项目落地与实施;
4、负责调研并跟踪工业互联网业界最新技术;
5、负责和产品经理、项目经理紧密配合协调团队日常开发 ,管理与推进技术组件选型及规范
6、参与构建基础数据仓库、计算和传输平台 ,流式计算 ,离线挖掘系统等
7、参与在线架构设计和优化 ,支撑实时、大规模高可靠系统的研发;采用springcloud微服务框架、docker、分布式系统 ,大数据分析等
完成浙江统计局、内蒙中煤蒙大及京博石化的数据中台项目的开发
8、支持内蒙中煤蒙大MES系统、京博石化MES等系统的上线。支持包括以下方面的子系统上线
9、对公司员工、部门同事进行大数据技术、数据建模等相关培训
9、对新技术持有敏感性 ,善于学习 ,比如用AI模型算法解决公司内部遗留了很久的问题(用AI模型完成京博石化项目设备异常导致数据丢失的
数据拟合问题)
环境:
java12+IDEA + git + maven + jenkins;JUC
架构:springcloud+ mongodb + mysql + docker + k8s + ES + Vue + nodejs
项目三:平安科技系统监控平台
项目概述:
实时监控包括平安银行、陆金所、平安证券、平安好房、好医生等平安集团旗下40+家子公司的系统业务数据及性能指标数据。
架构:flume + sqoop + kafka + spark streaming + scala + spring cloud + ES + Vue + nodejs
数据采集和处理采用Hadoop大数据框架:系统采用Apache Flume采集实时日志,用Apache Sqoop采集数据库性能数据和业务数据,并用Kafka分布式消息集群作为数据的缓冲。数据的实时分析处理采用Spark和scala。经过Spark处理的数据通过spring cloud微服务模块实现更具体的功能,如告警计算、告警消息推送、告警查询和数据总线等;同时Kafka消息系统写入内存数据库MongoDB,当天凌晨MongoDB中的数据被写入HBase中。指标数据的配置信息会被存储到MySQL中。每日数据处理量为八九百万条数据,2G多的数据量,实时并发处理的数据量为280条。
项目中承担的角色:
1)带领java开发团队进行后端微服务架构开发,参与并设计项目框架,根据预计的接入数据量和处理的并发量计算和构建分布式系统的
角色 | 职位 |
负责人 | 大数据架构 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | 前端工程师 |
队员 | 后端工程师 |