1、大数据技术栈,包括Hadoop、Hive、Spark、HBase、Flink、ClickHose、Hudi、Doris、Kafka、ES、Kylin等等大数据生态
2、java开发,java后端技术、算法、数据结构等
3、python开发,数据分析、爬虫、机器学习算法等
4、机器学习,传统的聚类、分类算法,协同过滤、朴素贝叶斯、KNN、NLP、逻辑回归等
5、系统架构,后端架构,大数据平台,BI,数据中台等
6、微服务,spring boot、spring cloud等
1、数据中台:
为了加速集团数字化转型过程,达到真正数字化运营,数字化营销目的进而建设集团层面的数据中台,对内面
向线下 200+家门店赋能,对外为整个行业提供数据解决方案;
该项目主要依托底层开源大数据平台 CDH、实时数仓 StarRocks、SpringBoot 数据服务等基础平台能力向上建设
整个集团性质的数据中台与解决方案;
2、电商大数据平台:
该项目是一款针对中东市场的互联网电子商务平台,作为公司三大核心战略项目之一,致力打造行业内电子商
务顶尖跨境电商独立站,任职期间担任大数据架构师兼数据产品经理角色,为项目提供大数据分析、用户精准
营销、搜索、推荐等支撑。
主要承担大数据平台各个环节建设、核心算法实现等;大数据平台主要采取业界开源 CDH5.12 构建,其中搭建
大数据生态圈的 hadoop 作为离线计算框架,spark 实时计算框架,Hive+ES 作为底层数据仓库提供海量数据存储
能力;另外采用 lua+openresty 构建数据采集上报接口将数据写入 kafka 消息队列,上层搭配 HighChart+mysql 为主
的离线数据报表平台以及 ELK 实时数据报表平台
为了加速集团数字化转型过程,达到真正数字化运营,数字化营销目的进而建设集团层面的数据中台,对内面 向线下 200+家门店赋能,对外为整个行业提供数据解决方案; 该项目主要依托底层开源大数据平台 CDH、实时数仓 StarRocks、SpringBoot 数据服务等基础平台能力
大数据平台主要采取业界开源 CDH5.12 构建,其中搭建 大数据生态圈的 hadoop 作为离线计算框架,spark 实时计算框架,Hive+ES 作为底层数据仓库提供海量数据存储 能力;另外采用 lua+openresty 构建数据采集上报接口将数据写入 kafka 消息
大数据平台主要采取业界开源 CDH5.12 构建,其中搭建 大数据生态圈的 hadoop 作为离线计算框架,spark 实时计算框架,Hive+ES 作为底层数据仓库提供海量数据存储 能力;另外采用 lua+openresty 构建数据采集上报接口将数据写入 kafka 消息