1.精通java开发
2.熟练运用python技术
3.熟悉大数据相关技术
4.熟练使用layui,vue,css,js技术
5.熟练使用一些数据库和中间件,如 Mysql,Redis,windq,rsf,RabbitMQ
1. TITAN智能推荐大数据系统
项目描述:该项目主要有数据采集(数据输入)接口和数据服务(数据输出)接口。
通过定义数据接口采集(Flume采集)门户 (IPS) 代理 (UTC) 流媒体(CDN) 鉴权认证(AAA) ,catalog 门户对外接口,ICDS分发系统,BOSS和门户编排系统(CLPS)通过以上系统获取统计使用数据,第一步数据通过解析之后全部入保存到HDFS 上作为原始数据备份,第二部经过预处理形成基础数据(包括用户、媒资、演职人员)和行为数据(CDN 详单、收藏记录、购买记录等宽表记录格式数据)。该项目主要是基于原生环境的大数据系统。
负责模块:本人主要负责将基础数据按照要求在管理系统上展现。
2. Busms业务监控平台
项目描述:该项目主要分为系统管理:新增角色管理模块,用于配置角色操作权限;基础数据管理模块:新增地市信息管理,用于配置各个地市的基础数据信息;接口管理模块:新增接口配置,用于配置需要监控的接口详细信息;策略管理:新增定时任务管理,用于配置接口验证所触发的时间周期;接口监控结果展示:需要有单独的页面,展示业务接口监控的结果(地市操作员只能看到自己地市的所有接口状态。中心需要可以看中心以及各个地市的接口状态)。
负责模块:本人主要负责接口管理模块的研发。
项目中主要用到了eharts,mysql和java技术,使我对技术的应用更加熟练,理解更加深刻。
3.OMS运营管理系统
项目描述:该项目主要是关于PPTV足球的项目,主要包括运营数据管理,基础数据管理,榜单管理,日志管理四大部分。榜单管理主要包括球队积分排行榜,球队排名,球员赛事排名,球员赛季排名;运营数据管理模块,主要包括赛事项目,赛季,轮次,比赛,球队,球员等基本数据。
负责模块:本人主要负责的此模块的数据统计展示和数据同步的导入。
4.SQM服务质量管理系统项目
项目描述:该项目是中国移动下咪咕视讯的一个项目,由于日志量很大,故采用大数据来处理日志的采集,存储,分析,将需要的内容展现出来:主要包括实时监控和历史趋势(离线)以及报表管理。实时监控和历史趋势都是对故障用户、故障原因、视频业务趋势、事件趋势、图片加载趋势、EPG响应趋势以及HTTP错误码趋势的分析展现,只是时间维度不同,报表主要包括总体业务质量分布,用户活跃,故障分布,用户卡顿分布,以及HTTP错误码分布。
项目环境:此项目依赖的集群环境是通过Cloudera Manager + CDH来管理和监控的,可以添加一些主机(至少3台),在上安装需要的工具,如用于采集日志的Flume,存储数据的Hive和Hbase,协调资源的Yarn,用于计算数据的Spark等更好的管理检测数据。项目中还用到redis缓存和mysql数据库存储数据。
5.全量图片稽查系统
项目描述:主要通大数据对图片数据进行采集,将采集的图片进行稽查,主要包含涉黄,水印,二维码,logo,敏感词等涉及违规的图片检测,供业务方使用。
项目中主要用到了大数据相关的hive,hdfs,spark,以及后端用到es,mysql,windq,rsf等相关技术。
6.视频点播系统
项目描述:因视频的表现效果和展示内容的丰富性,越来越多的商户在商品四级页添加商品短视频。而随着商品四级页视频数量级的迅速增加,原有基于运营人工审核视频的方式,已越来越难满足审核快速性的要求,审核效果和效率也难以提升,占用了大量的运营人力成本。
本项目通过AI视频识别审核的方式,快速定位检测出约定范围之外的违规水印LOGO,二维码,黄图等,降低运营成本。
7.文本识别系统
对于商家商品管理系统以及素材管理系统,其主要功能是为商品发布、商品编辑提供服务图文检测服务。其中,根据国家广告法相关法律要求,在商品的宣传图文中,不能出现广告法违禁用语
主要做服务内容,包括月嫂,产后恢复,在线教育相关,负责优惠券的开发设计,运营活动以及订单系统的开发及设计
该项目主要包含新增角色管理模块,用于配置角色操作权限;基础数据管理模块:新增地市信息管理,用于配置各个地市的基础数据信息;接口管理模块:新增接口配置,用于配置需要监控的接口详细信息;策略管理:新增定时任务管理,用于配置接口验证所触发的时间周期;接口监控结果展示:需要有单独的页面,