可赋能业务的大数据平台包括:大数据系统架构,数据采集与挖掘,数据分析与用户画像。
SaaS业务平台搭建,微服务架构转型
熟练使用 Python 开发数据处理、微服务接口。
熟悉 Hadoop、spark 等大数据组件及分布式架构与使用。熟悉 TensorFlow 框架。 熟悉 docker、k8s 等容器相关技术。熟练掌握 Linux 系统下常用服务及服务性能优化。 熟练掌握数据挖掘、数据清洗与格式化、数据分析技术。了解机器学习算法,了解推荐 系统设计。
了解项目管理,获得 PMP 证书。熟悉网络,获得 CCNP 证书
2018 年 - 2019 年:区块链与数据可视化
职责:基于 RPCA 共识机制的区块链开发管理。开发 Vue+nodejs 的数据可视化平台。 2017 年 - 2018 年:JA 大数据平台项目
职责:开发基于 Openresty+Lua+Kafka 的数据采集端,使用 Python、Spark、 elasticsearch、Hbase 清洗数据与格式化数据。Python+Matlab 进行数据训练和算法 设计,完成用户画像。开发 Flask 数据查询接口,与前端部门合作数据可视化。基于 TensorFlow 的推荐系统。
2017 年 - 2018 年:网家 SaaS 平台架构
职责:设计与架构基于 docker+K8s+Qingcloud 和阿里云+Flask 的微服务管理与调度 平台。负责基于 Lua+Python 的 SaaS 平台的缓存设计与中间件开发。
设计与架构基于 docker+K8s+Qingcloud 和阿里云+Flask 的微服务管理与调度 平台。负责基于 Lua+Python 的 SaaS 平台的缓存设计与中间件开发。
开发基于 Openresty+Lua+Kafka 的数据采集端,使用 Python、Spark、 elasticsearch、Hbase 清洗数据与格式化数据。Python+Matlab 进行数据训练和算法 设计,完成用户画像。开发 Flask 数据查询接口,与前端部门合作数据可