1. 熟悉java、python、scala等多种编程语言;
2. 可以熟练使用springboot、vue等常用web开发框架;
3. 所掌握的组件有: redis、mysql、es、kafka、yarn、hdfs、mr、hbase、hive、spark、storm等;
4. 具有海量数据处理经验,在多线程、高并发方面有深入研究。
1. 项目名称:网约车数据分析平台。
项目简介: 接收各公司网约车数据,进行存储分析,最后在页面进行展示。
详细介绍: 各公司通过32个接口向我们传输数据,接口使用nginx+keeplived做负载均衡。
接收到数据后,放入kafka,避免数据量突增导致后台崩溃的问题。
为了传输数据的效率,各网约车公司使用pb格式传输数据,所以在kafka上有一个回环程序,从kafka读取数据,解析完成后,根据不同地址的数据写入kafka的topic不同的partition。
在kafka下游有一个server端,各省市可以通过client端向kafka拉取数据。
在kafka上游,通过一个storm程序,拉取kafka数据,解析后,写入es和hdfs,写入es的数据用于web页面的实时查询,写入hdfs的数据,加载入hive后,用于离线处理。
web程序采用多租户的形式,使用的框架是springboot+layui2.x。