熟悉 Java 面向对象的编程语言
熟悉 Scala 编程语言
熟悉 Python 语言脚本编写
熟悉 Zookeeper 协调服务框架
熟悉 Hdfs 的存储过程,以及读写流程;熟悉 MaperRuduce 数据处理方法 Shuffle 过程
熟悉 Hive 数据仓库,内部表,外表创建,常见的 hive 调优,HQL 语句编写
熟悉非关系型数据库 HBASE 以及读写流程
熟悉 Kafka 分布式消息队列消息处理模式主题以及分区的使用
熟悉 Spark RDD 操作了解 Spark 常用算子,Spark 宽依赖窄依赖
熟悉 Sparksql 的使用以及 Sparksteam
熟悉 Elasticsearch 分布式搜索引擎
熟悉 Flink 框架处理实时数据流
熟悉 Redis 缓存工具,存储原理,存储结构,数据类型,哨兵模式
熟悉 logstash、Filebeat 拉取处理日志
熟悉 Flume、Datax、Kettle 等 ELT 工具的使用
熟悉 Mysql 关系型数据库,数据库的事物概念,以及常用的 Sql 语句编写
项目类型: Web 网站
项目描述:
该项目是基于SpringBoot/SpringCloud为重庆澳欧惠品构建的一款本地B2C新零售电商平台,客户通过前台浏览和购买商品,管理员通过后台对平台、商品、用户进行管理。主要出售日常百货,地区特产项目使用分布式框架,涉及后台管理员服务、地址服务、物流服务、广告服务、商品服务、商品类别服务、品牌服务、订单服务 、购物车服务、首页频道服务、公告服务、留言服务、搜索服务、会员服务等。
行业: 电商
我的职责:
广告管理:运营商广告类别管理、广告管理,使用七牛云进行广告图片分布式存储。首页频道服务广告的数据使用Redis进行缓存预热,开发并设计广告缓存系统设计,使用延迟双删、以及RabbitMQ缓存清除重试保证Redis缓存一致性。
订单管理:开发并设计下单流程,使用Redission实现分布式锁防止库存超卖,使用开源框LCN进行事务的一致性操作,保证商品服务减库存,订单服务新增订单。使用雪花算法进行在高并发分布式全局订单ID的生成.
项目类型: Web 网站 项目描述: 该项目是基于SpringBoot/SpringCloud为重庆澳欧惠品构建的一款本地B2C新零售电商平台,客户通过前台浏览和购买商品,管理员通过后台对平台、商品、用户进行管理。主要出售日常百货,地区特产项目使用分布式框架,涉及后台管理员
IMS广告流量管理 2021.06—至今 项目描述: 项目为华为广告流量预测,主要根据广告历史话单数据ODS层原始请求数据,对历史话单数据进行清洗、分析处理形成DW层数据。根据DW数据分析出各个广告位的历史流量、历史均值,根据统计的历史广告位的流量均值、曝光率等指标预估该广告的