掌握技能,spring,springboot,mybatis,HBASE,hadoop,kafka,spark,flink等框架,linux服务器部署,Oracle,mysql等关系型数据库,可以自己设计和开发系统,保证代码质量以及功能的完整性。
大数据处理平台
一个综合性的大数据平台,为中国联通的CBSS系统服务,联通将系统产生的各种数据和文件放置于服务器上或者hdfs系统上,系统建立spark数据任务,根据不同的业务,设置不用的参数,从服务器或者数据库中抽取业务数据,进行二次加工,最后将数据存放在不同的数据库中(HBASE,rds,Oracle,mongodb,elasticsearch)或者以文件的形式(txt,xml,csv)输出到固定的目录下,并且由kafka消息与联通平台之间互相通信。 新增flink部分,用于对联通发送的kafka流式数据进行处理,针对每条数据,都需要进行ogg格式或者protobuf格式的转换,再转发给联通平台。
iVop 视频智能运营平台
主要为浙江移动的咪咕爱看软件进行数据分析,包括各个运营位,广告位和内容的数据,从各个维度进行分析,从而看出整体趋势,为后续的软件运营给出方向。整体使用了springboot作为服务端,spark任务从数据源抽取数据处理并入表,redis缓存参数