熟练掌握JAVA、python、shell等开发语言,有10年以上大型项目可开发、运维、架构、管理经验,主导过两个
以上大型项目从0到1开发(使用框架为springboot、springacloud等),包括整体架构设计、核心代码开发、
项目脚手架搭建、建设配套开发环境基础设施(git、maven等)、建设自动化测试流程等
熟练掌握大数据组件hadoop、hbase、hive、spark、zookeep、kafka、strom、flink、es等,有10年以上大型大
数据平台开发、运维、架构、管理经验,能够独立设计、搭建、优化出大型大数据处理平台,并能够对组件源
码进行定制开发,使其满足实际业务场景
熟悉数据采集技术,主导开发过大型数据采集工程,能通过验证码识别、动态代理、身份伪装、频率控制等方式
突破采集上限。
熟悉自然语言处理,能够通过自然语言处理做语料分析、特征提取、选择分类器等操作,有情感分析的实战经验
管理层面
有30+的团队管理经验,包括绩效评估沟通、人才梯队建设、员工心理辅导等
有项目管理经验,通过缺陷预防、风险识别、关键问题分析、制定研发流程等方式及时消除项目过程中的障碍,
确保项目按时、按质交付。
业务层面
有一年半的规划经理经验,通过竞争分析、行业分析、客户分析等分析出客户痛点、产品核心场景以及核心竞争
优势,落地到产品中,并通过拜访客户、分析用户体验等方式分析出产品的差异与不足,最终不断迭代到产品中形
成闭环。
参与调研数字化转型方案,分析ipaas、apaas、esb等相关技术,与团队一起输出数字化转型方案,并从市场侧
论证方案可行性后落地实施。
项目职务: 部门架构师
项目描述: 统一化大数据平台,通过大数据平台的技术支撑以及灵活的大数据工具,为安全行业提供完整
易用的网络安全大数据分析能力
项目职责:
负责基础平台用户场景梳理、需求分析、缺陷预防分析、平台边界分析
负责整个基础平台的总体设计
性能基线制定与实施
详细设计方案评审、代码评审、测试用例评审
方案选型、技术支撑与技术问题裁决
项目业绩:
统一化公司大数据平台,为内部赋能
为国家级互网行动提供基础平台,平台稳定运行没有出现因平台导致的问题
为10+个外部客户部署了大数据基础平台,涉及煤矿、教育、互联网等行业,每家集群规模在
30+
平台支持一键部署、动态扩容
项目职务: 部门架构师
项目描述: 用户在批流画布中通过简单的托拉拽将源算子、目标算子、处理算子拖入画布中,简单配置后
形成一条工作流,点击运行后将工作流编译成flink 程序在hadoop 上运行,在检索中心通过SPL 语
法将入库后的数据检索并展示到界面中,所画即所得,大幅提升研发工作人员效率,降低开发门槛
项目职责: 负责画布用户场景梳理、需求分析、缺陷预防分析、平台边界分析
负责整个批流画布的总体设计
性能基线制定与实施
详细设计方案评审、代码评审、测试用例评审
方案选型、技术支撑与技术问题裁决
互联网广告自动化采买系统(DSP) 2015.04-2019.01
BI(商业智能) 2019.01-2022.08
核心模块开发
项目业绩: 为公司提供统一化数据清洗、转储、数据处理业务,为内部赋能
目前已有最大规模支撑1500 个客户,单客户每天进入的日志量700w 条,单节点解析及入库
性能达到10W+EPS
单节点普通关联规则(不含like 等复杂判断)性能6W+EPS
单节点纯ES 入库性能3W+EPS
80 个用户同时数据检索时间不超过2S
基于存算分离的云化架构,支持平滑升级,弹性扩展
支持批流融合
角色 | 职位 |
负责人 | 架构师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
案例:电商平台用户行为数据采集 一家电商平台希望通过用户行为数据的采集和分析,来优化用户体验、推荐个性化商品以及提高销售转化率。为了实现这一目标,平台决定进行用户行为数据的采集。 数据采集的流程如下: 登录行为数据采集:记录用户登录和退出的时间、地点、设备信息等。 浏览行
案例一:使用云端协作软件提升教育效果 背景描述:一所小学想要提升学生的英语口语能力,但是由于学校资源有限,无法请到专业的外教来授课。为了解决这个问题,学校决定尝试使用云端协作软件来进行远程英语口语教学。 解决方案:学校选择了一款适合教育场景的云端协作软件,并与一家专业