大数据行业丰富的开发经验,熟悉主流的存储引擎比如HDFS,HBase,Kudu,Elasticsearch,Alluxio,Parquet等,熟悉主流的计算分析引擎比如Spark,MapReduce,Hive,Impala等,其他诸如消息队列Kafka、Zookeeper也均有实际使用经验。以上组件均有生产使用经验。
中国联通自然人项目:
系统架构:
flume + kafka + storm + kudu + hbase + 规则引擎
系统描述:
通过flume将日志文件传输到kafka集群中,storm接收kafka的消息,对数据进行映射以及将数据转化为Json格式。然后解析Json,将符合条件的数据落入kudu或者hbase,有一些数据会通过kafkaBolt发送到kafka里,规则引擎接收这些数据进行规则匹配然后发送到storm里对这些数据落入kudu或者hbase。
负责内容:
主要负责kudu+hbase的技术支持。storm数据落地部分代码的编写。
其他项目:
技术栈:Kafka + SparkStreaming + Kudu + Hbase