1.语言
Python,Java,Scala,Golang
2.数据存储
熟悉Hadoop,分布式系统原理,ElasticSearch,Hive
3.计算框架
熟悉Spark,熟悉Flink
4.分布式中间件
熟悉Zookeeper,Redis
5.日志收集及数据同步
熟悉Kafka,Flume,ELK,Canal、Maxwell、Syncer
6.web框架
熟悉SpringBoot,Tornado,Flask
2023.03-2023.08 四维图新科技股份有限公司
岗位:大数据开发工程师 部门:智能云服务中心位置服务业务部
职责描述:
1.负责数供数据仓库明细层和轻度汇总层建设。
2.负责数供源数据ETL。
3.负责源数据清洗工作,比如点云、图片、视频等。
4.参与数仓数据架构层设计。
5.负责数据平台功能梳理。
6.负责梳理和制定数供仓库的总线架构。
2020.12-2022.12 北京嘀嘀无限科技发展有限公司
岗位:高级数据架构研发工程师 部门:网约车事业部
职责描述:
1.参与公司数据分析平台及内容研发
2.完成橙心优选内部数据分析平台模块研发及数据研发
3.参与实时分析数据研发
4.完成作战地图,履约地图及实时履约地图模块研发
5.完成橙心优选数据分析平台数据引擎架构设计及系统研发以及数据需求承接
6.完成分析平台HomeApp异动分析模块及push模块研发
7.独立完成智能CRM画像系统数据部分工作,完成并参与设计本系统架构及后续工作
8.独立完成SEEP(智能广告式PUSH平台)离线、实时数据加载系统的半自动化、自动化建设
9.参与SEEP平台战略规划及产品设计
10.完成POI项目数据部分建设(数据自动化链路建设)
11.项目数仓和不限于工程侧数据治理,及数据周期高质量load
12.负责POI数据部分规划和智能化建设等
13.负责项目数仓建设
2018.8-2020.12 新东方教育科技集团有限公司
岗位:大数据研发工程师 部门:信息管理部
职责描述:
1.参与数据平台各系统的性能分析与系统优化,不断提高系统运行效率
2.参与大规模数据快速查询系统的架构设计和开发
3.研究大数据前沿技术,提升系统的运维效率
4.独立完成项目核心代码开发、业务代码开发、系统性能调优等工作
5.负责异构数据系统和大数据平台的集成与融合
6.参与海量数据处理,业务数据体系的设计、数据统计、分析及数据建模
7.独立完成项目后台服务开发,要求高性能、高可用、高并发
8.参与项目相关系统需求分析以及撰写相关系统设计文档
9.负责大数据ETL开发与维护
10.完成上级安排的任务
2017.8-2018.08 中天科技集团有限公司
角色 | 职位 |
负责人 | 高级数据架构研发工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
个人博客是团队工程师自己建设,前端框架自己构建,博客产品设计,数据结构设计,ui设计都由团队内人员自行设计,后端服务开发,及后续工作都是自行完成
该博客为本人借助外部框架建设,后端服务目前自己维护优化,主要是看内部工作及技术介绍,团队内有从事大数据,前端,后端,产品等优秀开发人员