1.熟练掌握Java、scala语言编写,常用设计模式,了解JVM 底层并能进行简单调优;
2.熟悉springboot微服务、Spring、SpringMVC、mybatis、Spring-Data-Jpa等框架搭建和开发;
3.掌握Spring Cloud常用组件的开发;
4.熟练使用RabbitMQ 、kafka消息队列进行消息清洗和业务处理;
5.熟悉HDFS分布式文件储存、导出处理,Spark-Streaming实时流计算;
6.熟悉Mysql、Oracle、Redis;
7.熟悉组件Maven、Gradle项目jar包管理,项目的搭建和开发;
8.熟练使用Git、SVN、Hg版本控制器;
9.熟悉Linux常用操作命令,docker项目部署和日志分析;
项目名称:智能运营
开发环境:JDK1.8、Git、Maven、Oracle
技术选型:springboot、mybatis、jQuery、Vue.js、kafka 、docker
项目周期:7 个月
项目描述 : 采用分布式部署,对所有实时大屏监控和用户对网页的访问行为,进行分析和统计。实现业务如访问顺序、访问量、关注点、VIP用户。能够在页面离线分析和实时大屏监控。
责任描述 : 1、与项目经理讨论解决方案设计,沟通,方案验证,整理业务接口文档;
2、获取前端对页面埋码数据,推送生产数据推送到kafka,进行程序开发:
a数据清洗:消费埋码推送数据,进行数据清洗为标准格式。以用户进行分类,创建生产者推送到kafka对应topic进行部署;
b数据实时处理:对分类用户的数据使用spark-Streaming进行RDD算子业务运算,实时结果到页面动态刷新;
c数据离线处理:对清洗数据异步储存到库,做页面离线接口展现和分析等等;
技术描述 : 1、springboot集成kafka 的数据消费和创建生产;
2、kafka实时数据spark-Streaming的计算;