对于 java 基础部分有较深入的研究,熟悉 scala 语言,能够用 scala 语言开发,熟悉
linux 环境,对 linux 常用命令有一定的了解,能够编写 shell 脚本,进行项目的部署
熟练使用 springboot,springcloud,hibernate 的 web 框架;netty,mina 通信框架
了解大数据组件,habse,hadoop,spark,sparksql,并能够使用应用开发
数据持久层 mysql,hbase,hdfs,缓存数据库:redis,中间件:kafka
工具相关:maven,idea,git,uml,svn,tomcat,nginx,jmeter
中国移动站内搜索引擎
1. 主要负责站内爬虫项目。该项目以 nutch 为开源的分布式爬虫为基础,进行项目改造,主要
涉及 hadoop 分布式处理,多线程多任务抓取数据,设计模式使用,例如生产者消费者模式。
2. 移动商城商品猜你喜欢推荐项目,负责前端和数据层对接,使用技术 springcloud 构建服务,
涉及到高并发处理,使用多线程,做业务并发数据处理,redis 缓存做数据缓存提高性能, 对
接 hbase 数据库
3. 移动商城日志项目,主要负责清洗过滤日志数据,日志数据分析统计,单日数据 40G。日志
收集系统使用 flume+kafka+sparkstreaming。分析日志使用 spark,sparksql 技术,数据存储使
用 hbase,hdfs 文件。使用 scala 语言为主,java 语言为辅开发。
中国移动车联网项目
1. 车联网服务器项目。主要负责软件服务器的开发维护,通信协议解析,使用功能 nio 相关框
架,使用 MINA 框架开发
2. 车联网数据上报客户端开发,接手时 C 语言开发,使用 netty 二次重构,开发,使用技术
netty+kafka,将客户端接收到设备上报的数据解析后推送到 kafka 中
sem 竞价广告系统,对接四大搜索引擎的竞价投放,采集网站数据,分析日志,将搜索词--->
投放关键词--->消费---->转化效果 闭环的统计分析,所有过程独自完成
该项目对网站进行埋点,接收日志数据,使用 spark 进行数据分析,sparksql 进行数据统计,
后端对接接口服务使用 springcloud 构建,数据存储使用 mysql 存储